(人 、 智能 制造 与 装备 制造 业 转型 升级 从 书 疯 人 工 心理 与 数字 人 技术 


MACHINE INTELLIGENCE 


ARTIFICIAL AFFECTIVE COMPUTING 


届 器 留 能 


人 工 情态 





本 书面 向 人 工 心理 和 情感 机 器 人 等 前 沿 领域 ， 
讨论 了 情感 机 器 人 的 起 源 及 发 展 、 机 械 头 及 身躯 设计 、 表 情 控制 模式 、 
电动 机 控制 、 机 器 视觉 、 人 机 交互 与 合作 、 软 件 集成 、 数 据 库 及 知识 库 技 术 、 
情感 模型 与 机 器 学 习 等 方面 的 研究 理论 、 技 术 与 应 用 方法 。 


机 械 工业 出 版 社 


CHINA MACHINE PRESS 


(人 _、 智能 制造 与 装备 制造 业 转型 升级 从 书 


MACHINE INTELLIGENCE 


ARTIFICIAL AFFECTIVE COMPUTING 


机 器 留 能 


人 工 情 感 


解 仑 ， 王 志良 /编著 





人 机 械 工 业 出 版 社 
CHINA MACHINE PRESS 





本 书 
| 和 机 械 名 

















控 条 
的 起 源 及 发 展 、 





向 人 工 心 理 利 
吉 构 设计 的 理论 














身 设 计 、 表 情 控制 模式 、 
集成 、 数 据 库 及 知识 库 技术 、 和 情感 模型 
术 与 应 用 方法 ， 取 材 新 颖 ， 
系 ， 具 有 较 好 的 创新 性 和 学 术 参 考 价值 。 














电动 机 控制 、 














、 技 术 及 其 


内 容 深 入 浅 出 ， 


[情感 机 器 人 等 前 沿 领 


， 讨 论 了 情感 机 器 人 表情 





ee 
情感 机 器 人 研究 历程 及 相关 理论 和 关键 技术 、 机 械 头 及 身 
人 机 交互 与 合作 、 
J4 和 机 器 学 习 等 方面 的 研究 理论 
材料 丰富 





机 融 视 觉 、 























主要 包括 机 器 人 





软件 
、 技 











， 理 论 与 实际 





紧密 联 


本 书 可 以 作为 高 等 院 校 相关 专业 高 年 级 本 科 生 或 研究 生 的 教材 及 参考 





用 书 ， 





也 可 供 从 二 





和 计算 机 、 





自动 化 、 电 子 信息 








机 交互 技术 等 领域 的 教师 和 科研 工作 者 参考 。 


图 书 在 版 编目 (CIP) 数据 


机 器 智能 : 
机 械 工业 
(智能 制 


人 工 





























制造 业 转 型 升级 从 书 











ISBN 978 -7 -111 -57500 -9 


NV. DTP18 


sa 


2 


[I. 四 解 …@ 王 … 


情感 / 解 仑 ， 王 志良 编著 .一 2 版 . 
版 社 ，2017.7 
造 与 装备 


Se 


亚 . 中 人 工 箱 


台 已 
9 角 E 一 








一 北京 : 


人 研 


中 国 版 本 图 书馆 CIP 数据 核 字 (2017) 第 177955 号 


机 械 工业 出 
策划 纺 




















版 社 (北京 市 
责任 印 制 : 孙 人 炜 


PP 











责任 校对 : 胡 艳 萍 
北京 振兴 源 印 务 有 限 公司 印刷 



































万 庄 大 街 2 2 号 邮政 编码 1000 3 7 
责任 编辑 : 罗 者 


2017 年 8 月 第 2 版 .第 1 次 印刷 

184mm x 260mm， 1 4. 5 印张 .349 千 字 

0001 - 3000 

标准 书号 ; ISBN 978 -7 -111 -57500 -9 

定价 : 79. 00 元 

凡 购 本 书 , 如 有 缺 页 、 倒 页 、 脱 页 , 由 本 社 发 行 部 调换 

电话 服务 网 络 服务 

服务 咨询 热线 : 010-88361066 ”机 工 官 网 : www.cmpbook. com 

读者 购书 热线 : 010-68326294 机 工 官 博 : weibo. com/cmp1952 
010-88379203 ”人 金 书 网 : www. golden-book. co 

封面 无 防伪 标 均 为 盗版 教育 服务 网 : www. cmpedu. com 





息 、 模 式 识 别 、 智 能 科学 、 人 


m 


-人 一 
朋 吾 





随 着 计算 机 科学 、 脑 科学 、 心 理学 、 认 知 科学 的 于 勃发 展 ， 以 及 人 们 上 日益 增 长 的 物质 文 
化 生活 需求 ， 越 来 越 多 的 交叉 学 科 引 起 了 科研 工作 者 的 重视 。 特 别 是 在 国务 院 发 布 的 《 
家 中 长 期 科学 和 技术 发 展 规划 纲要 〈2006 一 2020 年 )》 中 ， 强 调 “ 以 人 为 中 心 ”的 信息 技 
术 发 展 需要 ， 自 此 ， 大 量 科 研 工作 者 便 投 身 到 人 工 心理 、 情 感 机 器 人 以 及 虚拟 现实 的 交叉 合 
作 领 域 之 中 。 针 对 以 上 学 科 发 展 需求 ， 本 书 较为 全 面 地 介绍 了 情感 机 器 人 的 基本 概念 、 主 要 
内 容 和 应 用 领域 ， 并 对 其 研究 方法 和 相关 技术 进行 了 讨论 。 以 国内 外 研究 发 展 前 沿 为 基础 ， 
重点 探讨 了 情感 机 器 人 的 总 体 体系 结构 及 相关 的 软 硬 件 设 计 ， 并 给 出 智能 家 居 系 统 、 虚 拟 管 
家 系统 和 服务 机 器 人 的 具体 应 用 实例 。 

本 书 的 研究 内 容 具 有 典型 的 交叉 性 ， 涉 及 心理 学 、 认 知 科学 、 智 能 科学 、 自 动 控 制 、 计 
算 机 智能 、 机 械 设计 等 多 个 学 科 领 域 。 全 书 共 分 11 章 。 第 1 章 介绍 了 机 器 人 及 情感 机 器 人 
的 起 源 、 发 展 研究 历程 及 其 相关 理论 和 关键 技术 ; 第 2 章 介绍 了 机 器 头 及 身躯 的 设计 与 实现 
技术 ; 第 3、4 章 介绍 了 机 器 人 的 表情 控制 模式 和 电 控 设计 ; 第 5 章 ~ 第 10 章 探讨 了 与 情感 
机 器 人 相关 的 多 种 软件 技术 及 其 相关 的 智能 技术 ; 第 11 章 分 析 了 情感 机 器 人 应 用 的 若干 实 
网。 
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本 书 的 学 术 观 点 较为 先进 ， 内 容 新 颖 ， 材 料 丰 富 ， 理 论 与 实际 应 用 紧密 联系 ， 结 构 合 
理 ， 从 基础 理论 与 技术 向 应 用 方法 逐步 深入 ， 具 有 一 定 的 理论 价值 与 实际 应 用 意义 。 读 者 既 
可 以 从 中 把 握 本 领域 的 前 沿 进 展 ， 也 可 以 选择 需要 的 研究 方向 进行 深入 学 习 。 
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第 1I 音 绪 论 


(Artificial Emotion，AE) 是 指 以 人 类 学 、 心 理学 、 脑 科学 、 认 知 科学 、 信 息 
s 智能 ( Artificial Intelligence，AI) 等 学 科 为 理论 基础 ， 利 用 信息 科学 的 手段 对 人 
类 情感 过 程 进 行 模拟 、 识 别 和 理解 ， 使 机 器 能 够 产生 类 人 情感 ， 并 与 人 类 进行 自然 和 谐 的 人 
机 交互 的 研究 领域 。 因 此 ， 我 们 可 以 将 具有 人 工 情感 的 机 器 人 称 为 情感 机 器 人 。 作 为 机 器 人 
研究 领域 的 新 兴 热 点 ， 情 感 机 器 人 〈Emotional Robot) 既是 人 工 情 感 的 重要 研究 和 应 用 对 
象 ， 也 是 研究 开发 人 工 情感 的 高 效 实 验 和 演示 平台 。 

研究 情感 机 器 人 的 价值 功能 具体 体现 在 界面 友好 性 、 智 能 效率 性 、 行 为 灵活 性 、 决 策 自 
主 性 、 思 维 创造 性 和 人 际 交 往 性 等 方面 。 同 时 ， 情 感 机 器 人 的 研究 也 具有 较 大 的 社会 影响 。 
如 在 经 济 结构 的 调整 方面 ， 当 情感 机 器 人 能 够 参与 社会 事务 和 人 际 交 往 以 后 ， 就 会 在 越 来 越 
多 的 社会 管理 领域 、 生 产 领 域 和 生活 服务 领域 取代 人 类 ， 成 为 一 支 日 趋 庞大 的 “劳动 主力 
军 ”， 从 而 机 器 人 的 机 体制 造 三 、 软 件 开 发 公司 、 程 序 调 整 中 心 、 医 院 、 美 容 店 、 和 餐馆 、 俱 
乐 部 、 学 校 、 托 儿 所 、 职 介 所 等 将 会 迅速 发 展 起 来 ， 社 会 生产 结构 和 经 济 结构 将 会 出 现 重大 
调整 。 此 外 ， 人 情感 机 器 人 的 发 展 对 伦理 观念 的 变迁 、 生 活 方式 的 变更 和 人 机 一 体 化 的 发 展 都 
有 着 重大 影响 。 

目前 ， 有 关 情 感 机 器 人 的 研究 已 成 为 机 器 人 研究 的 重点 方向 之 一 ， 在 国内 外 众多 学 术 网 
站 以 及 图 书 中 均 能 查 到 相关 参考 资料 ， 有 兴趣 的 读者 可 以 从 以 下 提示 或 链接 中 找到 更 多 的 信 
息 与 资料 。 
国外 相关 系列 图 书 : 
令 美国 麻 省 理工 学 院 (MIT) Minsky 的 专著 《The Society of Mind (意识 社会 )》; 
令 美国 MIT 媒体 实验 室 R. Picard 的 专著 《Affective Computing (情感 计算 )》; 
令 Tom M. Mitchell 编著 的 《Machine Leaming (机 器 学 习 ) 》; 
由 和 A. Ortony、G. Clore 、A. Collins 编著 的 《情感 的 认 知 结构 》; 
@ Paul Ekman 的 《Telling Lies》; 
令 苏联 教育 部 批准 的 心理 学 教科 书 《 普 通 心 理学 》， 由 彼得 罗 夫 斯 基 编 车 。 
内 相关 系列 图 书 : 

令 北京 科技 大 学 王 志 良 教授 编写 的 包括 《人 工 心理 》《 人 工 情感 》 和 《人 脸 工 程 学 》 
等 在 内 的 “人 工 心理 与 数字 人 技术 丛书 ”; 

令 史 忠 植 研究 员 编写 的 《人 工 智能 》; 

4 心理 学 家 曹 日 昌 编写 的 《普通 心理 学 》 等 。 

相关 的 网 站 或 网 页 : 

令 MIT 媒体 实验 室 网 站 : http : //www. media. mit edu/; 

令 有 关 Kismet 的 相关 资料 可 以 在 MIT 的 该 项 目 网 站 上 查 到 : http: //www. ai. mit. edu/ 
projects/ humanoid- robotics- group/ kismet/ kismet. html; 


令 史 忠 植 研究 员 的 个 人 网 址 : http: A/www. intsci. ac. cn/shizz/ ; 








































































































人 Tom M. Mitchell 的 个 人 网 址 : http: A/www. cs. cmu. edu/ ~ tomv ; 

令 提出 FACS 理论 的 Paul Ekman 的 个 人 网 址 : http: /LAwww. paulekman. com/， 以 及 
《面部 动作 编码 系统 使 用 手册 》 的 网 址 : http: A//www. face- and-emotion. com/ dataface/facs/ 
description. jsp 等 。 


1.1 机 器 人 的 起 源 与 发 展 史 














1.1.1 机 器 人 的 起 源 


机 器 人 的 历史 可 以 追溯 到 我 国 的 西周 时 期 ， 一 名 叫做 优 师 的 能 工 巧 匠 制造 了 一 个 能 歌 善 
舞 的 偶 人 ， 这 是 有 据 可 查 的 第 一 个 “机 器 人 ”。 在 汉 朝 ， 张 衡 造 出 了 记 里 鼓 车 。 三 国 时 期 的 
诸葛 亮 发 明了 木 牛 流 马 ， 用 来 运送 粮草 。 在 国外 ， 公 元 前 2 世纪 亚历山大 时 期 ， 古 希腊 人 制 
造 出 了 “自动 机 ” 以 空气 、 水 、 落 汽 压 力 为 动力 的 会 动 的 雕像 。 这 些 都 可 以 看 成 是 广 
义 上 的 机 器 人 。 

1920 年 ， 一 名 捷克 剧 作家 发 表 了 一 部 名 叫 《 罗 萨 姆 的 万 能 机 器 人 》 的 剧本 ， 剧 本 中 叙 
述 了 一 个 叫 罗 萨 姆 的 公司 把 机 器 人 作为 人 类 生产 的 工业 品 推 向 市 场 ， 让 它 充 当 劳动 力 代替 人 
类 劳动 的 故事 ， 引 起 了 人 们 的 广泛 关注 。 后 来 ， 这 个 故事 就 被 当成 为 机 器 人 在 科 纪 和 文学 作 
品 中 的 起 源 。 但 真正 机 器 人 的 出 现 ， 则 是 在 1959 年 ， 当 时 美国 人 英 格 伯 格 和 德 沃 尔 制造 出 
了 地界 上 第 一 台 工 业 机 器 人 ， 标 志 着 机 器 人 的 正式 诞生 。 

英 格 伯 格 和 德 沃 尔 供职 于 同一 家 汽车 公司 ， 他 们 认为 ， 汽 车 工业 最 适合 于 机 器 人 干 活 ， 
这 样 不 仅 可 以 替代 工人 简单 重复 的 劳动 ， 更 重要 的 是 ， 它 们 不 需要 吃饭 ， 不 知 疲倦 ， 不 需要 
报酬 ， 而 且 始终 任 劳 任 急 。 于 是 ， 他 们 分 工 进行 研制 ， 由 英 格 伯 格 负责 设计 机 器 人 的 “ 手 ” 
“ 脚 ”“ 身 体 ”， 德 沃 尔 设 计 “ 头 脑 ” “神经 系统 “肌肉 系统 ” 。 这 台 机 器 人 研制 出 来 后 ， 只 
有 手臂 功能 与 人 相似 ， 外 形 像 坦克 的 炮塔 ， 基 座 上 有 一 个 大 机 械 臂 ， 大 臂 上 又 伸 出 一 个 可 以 
伸缩 转 劲 的 小 机 械 臂 ， 能 够 代替 人 类 做 一 些 如 抓 放 零件 的 简单 工作 。 它 的 诞生 ， 开 创 了 机 顺 
人 研究 的 新 纪元 。 

此 后 ， 英 格 伯 格 和 德 沃 尔 创 办 了 世界 上 第 一 家 机 器 人 制造 工厂 ， 并 生产 出 一 批 名 叫 
“ 尤 尼 梅 特 (UNIMATE ) ”的 工业 机 器 人 ， 从 而 把 科幻 剧本 中 的 罗 萨 姆 万 能 机 器 人 公司 从 虚 
幻 变 成 现实 ， 他 们 也 因此 获得 “世界 工业 机 器 人 之 父 ” 的 殊 末 。1984 年 ， 当 英 格 伯 格 离开 
从 事 了 20 多 年 研究 的 机 器 人 公司 时 ， 他 说 ， 如 有 可 能 ， 他 还 要 改造 他 的 “ 尤 尼 梅 特 ”机 器 
人 ， 使 它们 能 够 擦 地 板 、 做 饭 、 走 到 门 外 去 洗刷 汽车 和 进行 安全 检查 等 。 

50 多 年 过 去 了 ， 现 在 全 世界 已 装备 了 数 百 万 台 工 业 机 器 人 ， 它 们 在 许多 领域 得 到 了 广 
泛 的 应 用 ,为 人 类 的 生产 和 生活 带 来 了 极 大 的 方便 。 

机 器 人 专家 美国 麻 省 理工 学 院 教授 约翰 ' 非 尼克 斯 预言 :“21 世纪 人 类 将 真正 进入 机 顺 
人 时 代 ， 人 类 创造 的 每 一 份 财富 都 将 包含 着 机 器 人 的 功劳 


1.1.2 机 器 人 的 发 展 史 


直到 1959 年 美国 的 英 格 伯 格 和 德 沃 尔 制造 出 世界 上 第 一 台 工 业 机 器 人 ， 现 代 机 器 人 的 
历史 才 真 正 开 始 。 
英 格 伯 格 在 大 学 攻读 伺服 理论 ， 这 是 一 种 研究 运动 机 构 如 何 才能 更 好 地 跟踪 控制 信号 的 
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理论 。 德 沃 尔 曾 于 1946 年 发 明了 一 种 系统 ， 可 以 “重演 ”所 记录 的 机 器 的 运动 。1954 年 ， 
德 沃 尔 又 获得 可 编程 机 械 手 专利 ， 这 种 机 械 手 臂 按 程序 进行 工作 ， 可 以 根据 不 同 的 工作 需要 
编制 不 同 的 程序 ， 具 有 良好 的 通用 性 和 灵活 性 ， 英 格 伯 格 和 德 沃 尔 都 在 研究 机 器 人 ， 认 为 汽 
车 工业 最 适 于 用 机 器 人 干 活 ， 因 为 是 用 重型 机 带 进 行 工作 ， 是 生产 过 程 较为 固定 。 

1959 年 ， 英 格 伯 格 和 德 沃 尔 联手 制造 出 第 一 台 工 业 机 器 人 。 由 英 格 伯 格 负责 设计 机 器 
人 的 “ 手 ”“ 脚 ”“ 身 体 ”， 即 机 器 人 的 机 械 部 分 和 完成 操作 部 分 ; 由 德 沃 尔 设计 机 器 人 的 
“头脑 ” “神经 系统 ” “肌肉 系 统 ”， 即 机 器 人 的 控制 装置 和 驱动 装置 。 它 成 为 世界 上 第 一 台 
真正 的 实用 工业 机 器 人 。 

这 种 机 右 人 外 形 有 点 像 坦 克 炮 塔 ， 
基 座 上 有 一 个 大 机 械 臂 ， 大 臂 可 绕 轴 在 
基 座 上 转动 ， 大 臂 上 又 伸 出 一 个 小 机 械 
臂 ， 它 相对 大 臂 可 以 伸 出 或 缩 回 。 小 辟 ” 国 
顶 有 一 个 腕 子 ， 可 绕 小 臂 转动， 进行 俯 多 
仰 和 侧 摇 。 腊 子 前 头 是 手 ， 即 操作 器 。 
这 个 机 器 人 的 功能 和 人 的 手臂 功能 相似 ， 
如 图 1-1 所 示 。 

它 成 为 世界 上 第 一 台 真 正 的 实用 工 
业 机 器 人 。 此 后 英 格 伯 格 和 德 沃 尔 成 立 “= 
了 “Unimation” 公 司 ， 兴 办 了 世界 上 第 加 1-1 世界 上 第 一 台 工业 机 器 人 “ 尤 尼 梅 特 ” 
一 家 机 器 人 制造 工厂 ， 第 一 批 工业 机 器 正在 生产 线 上 工作 
人 被 称 为 “ 尤 尼 梅 特 (UNIMATE )”， 意 
思 是 “万 能 自动 ， 他 们 也 因此 被 称 为 世界 工业 机 器 人 之 父 。1962 年 美国 机 械 与 铸造 公司 也 
制造 出 工业 机 器 人 ， 称 为 “ 沃 尔 萨 特 兰 (VERSTRAN )”， 意 思 是 “万 能 搬 动 ” 。“ 尤 尼 梅 
特 ” 和 “ 沃 尔 萨 特 兰 ” 就 成 为 世界 上 最 早 的 、 至 今 仍 在 使 用 的 工业 机 器 人 。 

机 器 人 的 发 展 史 主 要 分 为 三 大 阶段 ， 如 图 1-2 所 示 。 


























图 1-2 三 代 机 器 人 示例 


a) 第 一 代 机 器 人 《机 械 臂 ) pb) 第 二 代 机 器 人 。) 第 三 代 机 器 人 





1. 第 一 代 机 器 人 

第 一 代 是 示 教 再 现 型 机 器 人 ,“ 尤 尼 梅 特 ” 和 “ 沃 尔 萨 特 兰 ” 这 两 种 最 早 的 工业 机 器 人 
是 示 教 再 现 型 机 器 人 的 典型 代表 。 它 由 人 操纵 机 械 手 做 一 遍 应 当 完 成 的 动作 或 通过 控制 器 发 
出 指令 让 机 械 手 臂 动作 ， 在 动作 过 程 中 机 器 人 会 自动 将 这 一 过 程 存 人 记忆 装置 。 当 机 器 人 工 
作 时 ， 能 再 现 人 教 给 它 的 动作 ， 并 能 自动 重复 地 执行 。 这 类 机 器 人 不 具有 外 界 信息 的 反馈 能 
力 ， 很 难 适应 变化 的 环境 。 英 格 伯 格 和 德 沃 尔 制造 的 工业 机 器 人 是 第 一 代 机 器 人 ， 属 于 示 教 
再 现 型 ， 即 人 手 把 着 机 械 手 ， 把 应 当 完 成 的 任务 做 一 遍 ， 或 者 人 用 “ 示 教 控制 盒 ”发 出 指 
令 ， 让 机 器 人 的 机 械 手臂 运动 ， 一步 一 步 完 成 它 应 当 完 成 的 各 个 动作 。 

2. 第 二 代 机 器 人 

第 二 代 是 有 感觉 的 机 器 人 ， 它 们 对 外 界 环 境 有 一 定 感知 能 力 ， 并 具有 听觉 、 视 觉 、 触 觉 
等 功能 。 机 器 人 工作 时 ， 根 据 感 觉 器 官 〈 传 感 器 ) 获得 的 信息 ， 灵 活 调整 自己 的 工作 状态 ， 
保证 在 适应 环境 的 情况 下 完成 工作 。 如 有 触觉 的 机 械 手 可 轻松 自如 地 抓 取 鸡蛋 ， 具 有 嗅觉 的 
机 器 人 能 分 辨 出 不 同 的 饮料 和 酒 类 。 

3. 第 三 代 机 器 人 

第 三 代 机 器 人 是 智能 机 器 人 ， 它 不 仅 具 有 感觉 能 力 ， 而 且 还 具有 独立 判断 和 行动 的 能 
力 ， 并 具有 记忆 、 推 理 和 决策 的 能 力 ， 能 够 完成 更 加 复杂 的 动作 。 中 央 电 脑 控制 手臂 和 行走 
装置 ， 使 机 器 人 的 手 完 成 作业 ， 脚 完成 移动 ， 机 器 人 能 够 用 自然 语言 与 人 对 话 。 智 能 机 器 人 
的 “智能 ”特征 就 在 于 它 上 只 有 与 外 部 世界 一 一 对 象 、 环 境 和 人 相 适 应 、 相 协调 的 工作 机 能 。 
从 控制 方式 看 ， 智 能 机 器 人 不 同 于 工业 机 器 人 的 “ 示 教 、 再 现 ”， 不 同 于 遥控 机 需 人 的 
“ 主 一 从 操纵 ”， 而 是 以 一 种 “ 认 知 一 适应 ”的 方式 自主 地 进行 操作 。 

智能 机 器 人 在 发 生 故 障 时 ， 通 过 自我 诊断 装置 能 自我 诊断 出 故障 部 位 ， 并 能 自我 修复 。 
如 今 ， 智 能 机 器 人 的 应 用 范围 已 经 极 大 地 扩展 了 ， 除 工农 业 生 产 外 ， 机 器 人 还 应 用 到 很 多 行 
业 , 已 具备 了 人 类 的 特点 。 机 器 人 向 着 智能 化 、 拟 人 化 方向 发 展 的 道路 ， 是 没有 止境 的 。 


















































1.2 情感 机 器 人 研究 历程 


情感 机 器 人 (Emotional Robotics) 是 指 用 人 工 的 方法 和 技术 ,， 模仿、 延伸 和 扩展 人 的 情 
感 ， 使 机 器 具有 识别 、 理 解 和 表达 情感 的 能 力 。 具 有 情感 的 机 器 人 必须 具有 智能 化 的 特点 ， 
那 就 需要 具备 以 下 几 种 特殊 的 能 力 : 即 学 习 知 识 的 能 力 ; 使 用 知识 的 能 力 ; 运算 知识 的 能 
力 。 人 情感 机 器 人 是 近年 来 机 器 人 研究 领域 兴起 的 一 个 新 的 研究 热点 。 情 感 机 器 人 既是 人 工 心 
理 和 人 工 情感 的 重要 研究 和 应 用 对 象 ， 也 是 研究 开发 人 工 情感 的 高 效 实验 和 演示 平台 。 人 情感 
机 器 人 的 研究 方向 主要 可 以 分 为 两 大 类 ， 一 类 是 研究 具有 情感 的 物理 机 器 人 ， 另 一 类 是 研究 
具有 情感 的 虚拟 机 器 人 。 这 两 种 研究 方向 的 理论 与 技术 相辅相成 ， 共 同 促进 情感 机 器 人 向 着 
广 、 深 、 远 的 方向 发 展 。 


1.2.1 物理 机 器 人 的 发 展现 状 


世界 各 国 的 实验 室 都 在 这 一 领域 展开 研究 ， 如 日 内 瓦 大 学 Klaus Scherer 领导 的 情感 研究 
实验 室 、 布 鲁 塞 尔 自 由 大 学 D. Canamero 领导 的 情感 机 器 人 研究 小 组 及 英国 伯明翰 大 学 
A. Sloman 领导 的 Cognition and Affect Project ( 认 知 与 情感 研究 项 目 ) 等 。 我 国 对 这 一 领域 的 
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研究 始 于 20 世纪 90 年 代 ， 主 要 针对 人 工 情感 单元 理论 与 技术 实现 开展 研究 ， 如 多 功能 感知 
机 絮 人 ， 主 要 包括 表情 识别 、 人 脸 识 别 、 人 脸 检测 与 跟踪 、 手 语 识别 、 表 情 合 成 、 层 读 等 基 
于 人 工 情 感 的 机 器 人 控制 体系 结构 的 研究 。 图 1-3 所 示 为 对 国内 外 具有 情感 的 物理 机 器 人 的 


研究 之 路 的 梳理 。 
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图 1-3 国内 外 情感 机 器 人 的 发 展 过 程 


从 图 1-3 可 以 发 现 ， 日 本 、 
学 和 麻 省 理工 学 院 ， 发 展 较 快 ; 


美国 的 大 学 和 研究 所 的 研究 开展 较 早 ， 且 多 集中 在 早 称 田 大 
德国 与 英国 近期 也 开始 进行 相关 研究 ; 我 国 自 2002 年 开始 
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发 展 对 表情 机 老人 的 人 研究。 目前 国内 比较 先进 的 机 器 人 有 哈 尔 演 工业 大 学 研制 的 “ 百 智 星 ” 
幼教 机 器 人 ， 中 国 科学 院 自动 化 研究 所 研制 的 “ 童 童 ” 机 器 人 ， 北 京 科技 大 学 研制 的 情感 
机 器 人 头 部 。 下 面 对 几 种 情感 机 器 人 进行 简单 介绍 。 

日 本 早稻 田 大 学 理工 部 高 西 研究 室 于 1992 年 开始 研究 仿 人 头 形 机 器 人 ， 从 1996 年 起 开 
始 开发 名 为 WE 系列 的 仿 人 头 部 机 器 人 ， 至 今 已 研制 出 了 四 个 版 本 的 WE 系列 仿 人 头 部 机 顺 
人 ， 并 以 多 种 传感器 作为 感觉 器 官 。 例 如 ，WE-4 型 机 器 人 在 眼球 中 安装 彩色 CCD (Charge 
Coupled Device ， 电 耦合 元 件 ) 摄像 头 采 集 视 觉 信 息 并 进行 颜色 识别 ; 在 耳 部 安装 微型 传 声 
器 ， 采 集 声 音信 息 ; 在 机 器 人 的 面 舌 、 前 额 和 头 部 两 侧 安装 力 敏 电阻 作为 触觉 器 官 ， 识 别 不 
同 触觉 行为 (如 推 、 打 和 抚摸 ) ; 采用 热 敏 电阻 传 感 融 感受 温度 ; 用 4 个 半导体 气体 传感器 
作为 嗅觉 右 官 ， 识 别 酒精 、 氮 水 和 香烟 的 气味 。 

美国 麻 省 理工 学 院 人 工 知 能 实验 室 的 计算 机 专家 辛 西 娅 : 布雷 齐 尔 (Cyntheia Breazeal ) 
从 婴儿 与 看 护 者 之 间 的 交流 方式 中 得 到 启发 ， 开 发 了 一 个 名 为 “Kismet” 的 婴儿 机 右 人 。 目 
前 它 只 有 头 部 与 计算 机 相连 ， 面 部 特征 具有 15 个 自由 度 ， 分布 于 眉毛 、 耳 打 、 眼 球 、 眼 瞪 、 
嘴唇 等 部 位 ， 每 只 眼睛 装 有 一 个 5. 6mm 焦距 的 彩色 CCD 摄像 机 ， 耳 部 装 有 微型 传声器 ， 使 
它 具 有 视觉 和 听觉 。“Kismet” 具 有 与 人 类 婴儿 相似 的 行为 方式 和 能 力 ， 如 模仿 父母 与 孩子 
之 间 表 达 情 感 的 反馈 方式 ， 婴 儿 向 父母 表达 需求 和 愿望 的 方式 ， 以 及 婴儿 自我 学 习 与 人 和 环 
境 交 流 的 方式 等 。 

2002 年 在 日 本 横滨 举行 的 机 器 人 展会 上 ， 东 京 理 科大 学 的 展台 上 坐 着 一 个 身 穿 白色 连 
衣 衬 的 “姑娘 ”， 长 头发 、 大 眼睛 。 她 就 是 小 林 宽 司 教授 研制 的 仿 人 机 器 人 SAYA ( 见 
图 1-4) ， 它 能 扫描 注视 者 的 表情 ， 比 较 其 眼 、 口 、 鼻 、 丑 的 距离 ， 与 记忆 库 中 自然 表情 的 
面孔 对 比 ， 识 别 出 该 表情 所 表达 的 某 种 情绪 ， 然 后 由 人 工 肌 肉 带动 并 协调 18 个 面部 关键 点 
的 运动 ， 展 示 出 相应 的 喜悦 、 生 气 、 人 惊讶 等 逼 真 表情 。 这 项 计划 通过 优化 机 器 人 的 表情 ,来 
改善 人 与 机 器 人 的 关系 。 人 们 尤其 是 老人 不 接受 机 器 人 ， 机 器 人 就 无 法 为 人 类 服务 ， 因 此 ， 
我 们 需要 尝试 制造 能 被 老人 接受 的 机 器 人 。SAYA 只 是 面部 机 器 人 ， 但 她 面部 五 官 齐 全 ， 有 
皮肤 ， 与 真人 十 分 接近 。 小 林 宽 司 教授 的 下 一 个 目标 是 让 机 器 人 能 够 开口 说 话 ， 当 前 他 已 开 
始 着 手 研发 有 舌头 的 说 话机 器 人 。 相 信 在 不 久 的 将 来 ， 感 情 丰 富 、 行 动 自如 的 SAYA 一 定 会 
走 到 我 们 面前 。 



















































































图 1-4 东京 理科 大 学 的 SAYA 机 器 人 
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另外 ， 东 京 理 科大 学 还 研制 了 机 器 人 AH II ( 见 图 1-5) 。 其 外 观 上 是 一 个 女性 的 头 部 ， 
装 有 假牙 、 硅 胶皮 肤 和 假发 ， 形 象 与 人 类 十 分 接近 。AHI 由 微型 气压 柔性 驱动 器 驱动 面部 
18 个 控制 点 ， 可 以 实现 人 的 喜 、 怒 、 厌 、 悲 、 恐 、 惊 六 种 基本 表情 。 塑 料 的 眼球 后 面 装 有 
18mm 的 CCD 微型 摄像 机 ， 用 来 采集 目标 面部 图 像 数据 ， 并 由 大 脑 的 分 层 神 经 网 络 进行 面部 
表情 的 实时 识别 ， 可 以 识别 人 的 喜 、 盘 、 厌 、 斐 、 恐 、 惊 6 种 基本 表情 。SAYA 和 AH I 两 
个 机 器 人 都 采用 基于 Ekman 和 Friesen 的 分 析 方 法 ， 把 6 种 基本 表情 分 解 成 14 个 面部 运动 单 
元 (AU) 的 组 合 ， 通 过 对 面部 18 个 特征 点 的 控制 ， 实 现 各 运动 单元 ， 进 而 组 合 出 各 种 
表情 。 

由 RIKEN 脑 科 学 学 会 实验 室 、 南 加 利 福 尼 亚 大 学 计算 机 学 习 及 电机 控制 实验 室 以 及 
SARCOS 公司 合作 开发 的 名 为 MAVeric 的 机 器 人 头 部 〈( 见 图 1-6)， 具 有 7 个 自由 度 。 其 运 
动 是 通过 在 计算 机 上 编写 软件 程序 来 实时 控制 的 。MAVeric 可 以 在 发 出 声音 的 同时 伴随 产生 
嘴 部 运动 ， 该 运动 通过 计算 机 传输 的 指令 经 RS232 串 行 接口 输送 到 一 个 串 行 控制 电路 板 、 
由 VB 程序 编写 的 活动 窗口 控制 。 














图 1-5 东京 理科 大 学 的 AH 工 机 器 人 图 1-6 MAVeric 机 器 人 头 部 





以 上 是 几 个 具有 代表 性 的 〈 仿 人 ) 头 部 机 器 人 研究 成 果 。 此 外 ， 还 有 美国 得 州 大 学 达 
拉 斯 分 校 的 博士 生 大 卫 ' 汉 森 发 明 的 “K-pot” 头 部 机 器 人 ， 日 本 京都 通讯 研究 室 开 发 的 婴 
儿 机 器 人 “Infanoid”， 美 国 卡 内 基 ' 梅 隆 大 学 开发 的 “Beardsley”， 日 本 早稻 田 大 学 开发 的 
“ISHA”、 中 国 香 港 模型 屋 公司 制造 的 头 部 机 器 人 人， 美国 加 州 大 学 人 研制 的 机 器 人 头 部 ， 德 国 
帕 德 伯 恩 大 学 C 实验 室 的 Mexi ， 美 国 卡 内 基 ' 梅 隆 大 学 的 4 目 头 部 机 器 人 ，MarkMedonis 的 
MAXWELL 等 。 日 本 本 田 公 司 的 “ 阿 西 莫 〈Asino)”，NEC 公司 开发 的 伴侣 机 器 人 “PaPe- 
Ro”，Sony 公司 的 “SKR24X” 机 器 人 ， 日 本 仿 人 机 器 人 财团 的 “小 正 ”， 以 及 世嘉 玩具 公 
司 的 人 形 机 器 人 玩具 “世博 〈C2BOT) ”等 ， 也 具有 一 定 的 表情 识别 和 通过 表情 表达 情感 的 
功能 。 

我 国 对 这 一 领域 的 研究 始 于 20 世纪 90 年 代 ， 大 部 分 研究 工作 是 针对 人 工 情感 单元 理论 与 
技术 实现 的 。 中 国 工程 院 院士 殖 锥 果 教 授 也 曾 在 1996 年 研制 出 一 款 具有 讲演 技能 的 仿 人 演讲 
机 器 人 ， 该 机 器 人 头 部 兼 具 眼球 运动 、 嘴 巴 讲话 带动 面部 肌肉 运动 等 机 能 。 哈 尔 滨 工业 大 学 类 
人 与 类 人 猿 机 絮 人 人 研究 室 于 2004 年 在 国内 首次 研制 成 功 具有 8 种 基本 面部 表情 (包括 自然 表 
情 、 严 肃 、 高 兴 、 微 笑 、 悲 伤 、 吃 惊 、 疏 惧 、 生 气 ) 的 仿 人 头像 机 器 人 H&F ROBOT- 工 ， 
该 机 器 人 具有 14 个 自由 度 ， 甚 中 机 器 人 头 部 具有 7 个 自由 度 ， 实 现 了 对 人 体 头 部 器 官 运动 
和 基本 面部 表情 的 模仿 。 














1.2.2 虚拟 机 器 人 的 发 展现 状 


虚拟 机 器 人 即 虚 拟人 (Virtual Human) ， 又 称 Humanoid ， 与 Avatar (替身 、 化 身 ) 意思 
相近 ， 涵 盖 各 种 计算 机 系统 中 虚拟 的 人 类 基本 特性 ， 包 括 其 外 观 几 何 特性 、 动 作 特 性 、 行 为 
和 情感 特性 等 。 情 感 虚 拟人 (Affective Virtual Human) 就 是 使 虚拟 人 具有 特定 的 个 性 和 情感 
交互 (情感 识别 和 表达 ) 能 力 ， 具有 特定 的 人 工 心理 数学 模型 和 情感 识别 及 情感 表达 方式 ， 
是 人 在 计算 机 生成 空间 (虚拟 环境 ) 中 的 几何 特性 与 行为 特性 的 表示 ， 是 多 功能 感知 与 情 
感 计算 的 研究 内 容 ， 是 人 工 心理 理论 在 虚拟 现实 领域 的 具体 应 用 。 

虚拟 人 技术 有 良好 的 应 用 前 景 ， 它 一 直 是 近年 来 计算 机 领域 中 的 热点 课题 之 一 ,已 取得 
许多 令 人 瞩目 的 成 果 ， 图 1-7 简单 概括 了 国内 外 具有 情感 的 虚拟 机 器 人 的 发 展 历程 。 


DIGuy 系 统 JointMotion 系 统 











JACK 系统 EF Ractor 










麦 洛 






| 





以 运动 控制 为 目标 


几 D 


Marilyn Monroe: i 








从 上 I i 
| 由 TD 机 = ff 
SAM BEAT GRET 


MIRALab 











Verbot 
(Virtual Life Network) 数 字 编 钟 乐舞 


图 1-7 国内 外 具有 情感 的 虚拟 机 器 人 的 发 展 历程 











国外 一 些 发 达 国 家 对 情感 虚拟 人 的 研究 开展 较 早 ， 发 展 也 较 快 。 我 国 对 情感 虚拟 人 研究 
开始 的 时 间 虽 然 比 国外 要 晚 些 ， 但 是 也 取得 了 丰硕 的 成 果 。 本 书 将 情感 虚拟 人 技术 分 为 以 下 
三 类 : 

1) 主要 以 实现 运动 控制 为 目标 的 情感 虚拟 人 技术 ， 如 JACK 系统 、Dream Flight 和 
Marilyn Monroe 、DIGuy 系统 和 JointMotion 系统 。Dream Flight 和 Marilyn Monroe 代表 了 20 世 
纪 计 算 机 拟人 技术 的 较 高 水 平 。 中 科 院 计算 技术 研究 所 数字 化 技术 研究 室 开发 的 Joint Mo- 
tion 系统 采用 的 动作 捕获 方法 控制 虚拟 人 的 动作 ， 可 以 达到 很 逼真 的 效果 ， 其 他 院 校 如 哈 尔 
滨 工 业 大 学 、 浙 江 大 学 、 北 京 科技 大 学 等 在 这 方面 也 都 有 所 成 就 。 

2) 以 实现 对 话 / 聊 天 功能 为 目标 的 情感 虚拟 人 技术 ， 如 小 工 机 器 人 ， 它 一 经 推出 便 受 到 
MSN 聊天 用 户 的 喜爱 。 

3) 以 实现 面部 表情 、 手 势 和 注视 能 力 为 目标 的 情感 虚拟 人 技术 ， 如 REA (MIT 研究 ) 、 
BEAT (MIT 研究 ) 、STEVE 、MAX 、MACK (MIT 研究 ) 、Sam (MIT 研究 ) 、Greta 、MIRALab 
和 麦 洛 等 。 其 中 由 Peter Molyneux 设计 的 虚拟 男孩 麦 洛 ， 不 仅 会 跟 用 户 对 话 ， 逐 渐 学 习 成 
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长 ， 而 且 用 户 也 能 直接 用 语音 下 达 命 令 ， 甚 至 如 果 用 户 在 纸 上 写 字 然 后 用 摄像 机 来 拍 ， 麦 洛 
还 会 读 纸 上 的 字 。 从 虚拟 人 技术 发 展 的 历程 来 看 ， 这 种 和 谐 自 然 的 交互 方式 已 经 成 为 未 来 研 
究 的 重要 方向 。 


1.3 ”相关 理论 及 关键 技术 











1.3.1 情感 计算 、 感 性 工学 及 人 工 心理 


1. 情感 计算 

学 术 界 较 早 对 情感 进行 系统 研究 的 是 美国 MIT 媒体 实验 室 的 R. Picard。1997 年 ， 
R. Picard 出 版 了 一 本 专著 一 一 《Affective Computing》， 书 中 给 出 了 情感 计算 的 定义 ， 即 情感 
计算 是 与 情感 相关 、 来 源 于 情感 或 能 对 情感 施加 影响 的 计算 。 

所 谓 的 情感 计算 (Affective Computing) 就 是 试图 赋予 计算 机 像 人 一 样 的 观察 、 理 解 和 
生成 各 种 情感 特征 的 能 力 。 情 感 计算 的 研究 就 是 试图 创建 一 种 能 感知 、 识 别 和 理解 人 的 情 
感 ， 并 能 针对 人 的 情感 做 出 智能 、 灵 敏 、 友 好 反应 的 计算 系统 。 

R. Picard 将 情感 计算 的 研究 内 容 具体 分 为 九 个 方面 : 情感 机 理 、 情 感 信息 的 获取 、 人 情感 
模式 识别 、 情 感 的 建 模 与 理解 、 情 感 合成 与 表达 、 情 感 计算 的 应 用 、 人 情感 计算 机 的 接口 、 情 
感 的 传递 与 交流 、 可 穿戴 计算 机 。 目 前 的 工作 侧重 于 有 关 情 感 信息 的 获取 〈 如 各 类 传感器 
的 研制 ) 与 识别 。 图 1-8 所 示 为 其 领导 的 课题 组 所 研究 的 主要 内 容 。 情 感 计算 可 以 从 两 个 
方面 理解 : 一 是 基于 生理 学 的 角度 ， 通 过 各 种 测量 手段 检测 人 体 的 各 种 生理 参数 ， 如 心跳 、 
脉搏 、 脑 电波 等 并 以 此 为 根据 来 计算 人 体 的 情感 状态 ; 二 是 基于 心理 学 的 角度 ， 通 过 各 种 传 
感 需 接 收 并 处 理 环 境 信息 ， 并 以 此 为 根据 计算 人 造 机 器 〈 如 个 人 机 器 人 ) 所 处 的 情感 状态 。 
图 1-9 所 示 的 几 种 可 穿戴 迷你 传感器 就 是 研究 者 们 根据 病症 引起 的 人 类 情绪 生理 信号 进行 监 
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到 1-8 有 R. Picard 课题 组 的 研究 内 容 
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测 而 研发 出 来 的 ， 从 而 为 医生 和 患者 提供 可 靠 的 帮助 。 


AyAICI Etactrodas 
A 

















到 1-9 ”基于 情感 计算 的 生理 信号 监测 器 





近年 来 ， 情 感 计算 的 研究 普遍 受到 学 术 界 和 企业 界 的 关注 。 美 国人 工 智能 学 会 的 年 会 也 
有 此 方面 的 专门 研讨 会 ， 比 如 2004 年 FLAIRS-04 的 Special Track on Computing With Emotions 
和 国际 SC104 的 Invited Session on Emotion Processing。 美 国 和 欧洲 的 各 个 信息 技术 实验 室 正 
加 紧 对 情感 系统 的 研究 步伐 。 麻 省 理工 学 院 、 剑 桥 大 学 、 飞 利 浦 公司 等 通过 深入 研究 “ 环 
境 识别 ” “环境 智能 ”“ 智 能 家 庭 ” 等 科研 项 目 来 拓展 这 一 领域 。 例 如 ， 麻 省 理工 学 院 媒 体 
实验 室 的 情感 计算 小 组 研制 的 情感 计算 系统 ， 通 过 记录 人 面部 表情 的 摄像 机 和 连接 在 人 身体 
上 的 生物 传感器 来 收集 数据 ， 然 后 由 一 个 “情感 助理 ”来 调节 程序 以 识别 人 的 情感 。 如 果 
你 对 电视 讲座 的 一 段 内 容 表现 出 困惑 ， 情 感 助理 会 重 放 该 片段 或 者 给 予 解释 。 麻 省 理工 学 院 
“ 氧 工程 ”的 研究 人 员 和 比利时 IMEC (Interuniversity Microelectronics Centre ， 微 电子 研究 中 
心 ) 的 一 个 工作 小 组 认为 ， 开 发 出 一 种 整合 各 种 应 用 技术 的 “瑞士 军刀 ”可 能 是 提供 移动 
情感 计算 服务 的 关键 。 麻 省 理工 学 院 提出 的 “ 氧 工程 ”就 是 一 项 由 宏基 、 诺 基 亚 、 惠 普 
飞利浦 等 公司 资助 的 以 人 为 中 心 的 计算 机 研究 项 目 。 该 计划 的 研究 来 源 于 四 个 方面 的 考虑 : 
首先 是 让 计算 机 帮助 人 们 提高 工作 效率 ; 其 次 是 了 解 计 算 和 通信 技术 的 发 展 趋势 ; 再 次 是 让 
计算 机 为 用 户 服务 ; 最 后 是 使 计算 机 理解 人 的 需要 。 

2. 感性 工学 

日 本 在 20 世纪 70 年 代 提 出 了 “感性 工学 ( Kasnei Engineer)” 的 概念 ， 但 是 关于 “ 感 
性 ”的 概念 ， 目 前 在 日 本 学 术 界 还 没有 统一 和 明确 的 定义 ， 不 同 的 学 者 从 各 个 角度 给 出 了 
各 种 定义 和 描述 。 在 一 次 对 参加 该 领域 学 者 进行 的 调查 中 ， 就 “感性 是 什么 ”的 问题 ,得 
到 了 许多 不 同 的 定义 。 下 面 主 要 介绍 一 下 日 本 学 者 松山 和 隆 司 的 观点 。 

他 们 从 “感性 ”和 “知性 ”的 相互 关系 上 来 考察 “感性 ” 。 他 们 认为 ， 人 类 精神 上 所 
具有 的 多 种 多 样 的 机 能 ， 概 括 地 说 可 以 分 为 “ 知 ”“ 情 ”“ 意 ”三 个 方面 。 可 以 说 人 工 智能 
是 从 信息 科学 的 角度 以 阐明 “ 知 ” 为 目标 的 。 与 感性 关系 最 密切 的 是 “ 情 ”， 然 而 感性 并 不 
等 于 “ 情 ”。 感 性 是 人 所 具有 的 感觉 、 知 觉 的 机 能 和 特性 ， 而 “ 情 ” 是 由 此 自然 产生 的 
东西 。 

从 上 面 的 想法 出 发 ， 他 们 认为 ， 人 的 感觉 、 知 觉 机 构 具 有 两 面 性 和 二 重 构 造 性 。 也 就 是 
说 ， 在 以 前 的 模式 识别 、 理 解 中 ， 是 从 “ 知 ” 的 观点 去 解析 感觉 、 知 觉 机 构 并 使 其 信息 模 
型 化 ， 开 发 构建 工程 上 的 信息 处 理 系 统 ( 如 人 脸 识 别 系 统 、 语 音 识别 系统 等 )， 而 感觉 、 知 
觉 机 构 所 具有 的 另外 一 个 重要 的 机 能 和 特性 一 一 也 就 是 “感性 ”"， 则 是 从 “ 情 ” 的 观点 来 看 
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待 感觉 、 知 觉 机构 的 。 
感觉 、 知 觉 机 构 具 有 两 面 性 、 二 重 构 造 性 的 模式 可 用 图 1-10 表示 。 图 1-10 中 从 “ 知 ” 
到 “知性 ”的 识别 ”、 从 “ 情 ” 到 “感性 ”的 识别 ”的 箭头 ， 表 示 各 识别 机 构 受 到 来 自 


“ 知 ” 和 “ 情 ” 的 影响 而 产生 的 机 能 。 
日 本 东京 大 学 的 河内 教授 ， 从 神 









































经 生理 学 和 病理 学 的 病例 中 发 现 了 感 “知性 ”的 识别 

觉 、 知 觉 机 构 具有 两 面 性 和 二 重 构造 Cae ] 

性 。 他 提出 ， 在 人 的 视觉 系统 中 ， 可 “感性 ”的 识别 | 

能 存在 分 别 主管 知性 识别 和 感性 识别 te 

的 两 套 组 件 (系统)。 一 和 
综合 各 方面 的 观点 ， 可 以 认为 ， 图 1-10 “知性 ”的 识别 和 “感性 ”的 识别 





所 谓 的 “感性 信息 ”就 是 与 人 的 情感 过 程 相 联系 的 〈 不 包括 情感 ) 、 不 具有 人 工 智能 所 研究 
的 知性 信息 的 论 理 客 观 等 特性 的 、 可 通过 感知 觉 直接 感受 到 的 对 象 ， 与 知性 信息 所 具有 的 
“客观 性 、 单 意 性 、 确 定性 、 再 现 性 ”的 特征 相对 应 ， 感 性 信息 具有 “主观 性 、 多 义 性 、 不 
确定 性 、 状 态 依 存 性 ”等 特征 。 而 “感性 ” 则 是 指 通 过 表情 、 动 作 生 成 “感性 信息 ”以 及 
通过 感官 接受 “感性 信息 ”的 能 力 。 感 性 信息 处 理 主要 包括 用 工程 的 方法 ， 从 各 种 媒体 中 
提取 感性 信息 以 及 感性 信息 的 表示 、 表 现 、 合 成 等 。 

所 谓 感 性 工学 ， 就 是 将 感性 与 工程 结合 起 来 的 技术 ， 是 在 感性 科学 的 基础 上 ， 通 过 分 析 
人 类 的 感性 ， 把 人 的 感性 需要 加 入 到 商品 设计 中 去 ， 是 一 门 能 给 人 类 带 来 喜悦 和 满足 的 工程 
学 商品 制造 技术 ， 感 性 工学 由 于 可 以 给 人 们 的 生活 带 来 快乐 和 千 适 ， 因 此 被 称 为 “快乐 而 
舒适 ”的 科学 ， 把 基于 感性 工学 技术 生产 的 商品 称 为 “感性 商品 ”。 

随 着 经 济 的 发 展 ， 消 费 者 的 需求 水 平 不 断 提 高 。 从 商品 短缺 时 以 追求 “拥有 ”为 目标 ， 
到 物质 条 件 充足 情况 下 追求 良好 品质 为 目标 ， 再 到 以 追求 个 人 需要 为 目标 ， 现 在 已 逐渐 转变 
到 以 追求 个 人 爱好 、 体 现 “个 性 ”为 目标 。 人 们 对 商品 的 价值 观 也 从 追求 “ 重 、 厚 、 长 、 
大 ”到 追求 “ 轻 、 薄 、 短 、 小 ”， 进 而 到 追求 “美感 、 游 乐 、 感 性 创造 ”。 

随 着 科学 技术 的 发 展 ， 人 们 的 欲求 和 价值 观 产生 相应 变化 ， 社 会 的 生产 形态 和 产业 形态 
也 发 生 相 应 的 变化 ， 目 前 整个 社会 生产 将 以 追求 感性 为 目标 ， 以 给 人 们 带 来 喜悦 和 和 舒适 为 
目的 。 

在 日 本 ， 人 们 利用 感性 工学 理论 研究 了 多 种 实用 的 感性 工学 系统 ， 比 较 典 型 的 有 

1) HULIS 人 性 化 居住 环境 设计 系统 ; 

2) IKDES 乘 用 车 室内 设计 支持 系统 ; 

3) FAIMS 女 大 学 生 用 服饰 设计 系统 ; 

4) WIDIAS 语音 感性 诊断 模糊 专家 系统 等 。 

3. 人工 心理 

北京 科技 大 学 王 志 良 教授 于 1999 年 首次 提出 了 人 工 心理 的 概念 。 人 工 心理 主要 研究 人 
类 心理 活动 (着重 是 人 的 情感 、 意 志 、 性 格 、 创 造 ) 的 全 面 人 工 机 器 实现 。 它 以 人 工 智能 
现 有 的 理论 和 方法 为 基础 ， 是 人 工 智 能 的 继承 和 发 展 ， 是 人 工 智能 发 展 的 高 级 阶段 ， 在 人 工 
智能 基础 上 有 着 更 广泛 的 内 容 。 人 工 心理 是 一 门 交叉 学 科 ， 其 理论 源 于 脑 科 学 、 心 理学 、 生 
理学 、 伦 理学 、 神 经 科学 、 人 脸 工 学 、 感 性 工学 、 语 言 学 、 美 学 、 法 学 、 信 息 科 学 、 计 算 机 
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科学 、 自 动 化 科学 、 人 工 智能 等 学 科 。 其 应 用 范围 主要 是 情感 机 器 人 的 技术 支持 、 拟 人 机 
械 、 人 性 化 商品 设计 、 感 性 市 场 开发 、 人 工 心理 编程 语言 、 人 工 创造 技术 、 人 类 情感 评价 计 
算 机 系统 、 人 类 心理 数据 库 及 数学 模型 、 人 机 和 谐 环 境 技术 、 人 机 和 谐 多 信道 接口 等 。 人 工 
心理 理论 具体 内 容 如 下 : 

(1) 定义 

所 谓 的 人 工 心理 研究 就 是 利用 信息 科学 的 手段 ， 对 人 的 心理 活动 (着 重 是 人 的 情感 、 
意志 、 人 性格 、 创 造 ) ， 进 行 全 面 的 人 工 机 器 〈 计 算 机 、 模 型 算法 等 ) 实现 。 

(2) 研究 目标 

人 工 心理 的 研究 目标 在 于 提出 人 工 心理 的 概念 ， 利 用 人 工 智 能 已 有 的 基础 〈 研 究 成 果 、 
研究 方法 ) ， 结 合 心理 学 、 脑 科学 、 神 经 科学 、 信 息 科 学 、 计 算 机 科学 、 自 动 化 科学 的 新 理 
论 和 新 方法 ， 对 人 的 心理 活动 (尤其 是 情感 、 意 志 、 人 性格、 创造 ) 进行 全 面 的 人 工 机 器 模 
拟 。 研 究 确立 人 工 心理 的 理论 结构 体系 (目的 、 法 则 、 研 究 内 容 、 应 用 范围 、 研 究 方法 
等 ) ， 并 使 之 得 以 应 用 。 

(3) 研究 内 容 

1) 研究 建立 人 工 心理 的 理论 结构 体系 〈 目 的、 法则 、 研 究 内 容 、 应 用 范围 、 研 究 方法 
等 ) 。 尤 其 是 人 工 心理 学 说 的 定义 、 研 究 规 则 、 研 究 内 容 的 界定 问题 ， 使 其 研究 符合 人 类 道 
德 规 范 ， 该 问题 在 人 工 智 能 领域 未 曾 涉及 。 

2) 借鉴 人 工 智 能 已 有 的 研究 成 果 ， 建 立 人 工 心理 的 理论 体系 ， 研 究 人 工 心理 与 人 工 智 
能 的 相互 关系 ， 使 二 者 相辅相成 、 互 相 促进 、 共 同 发 展 。 

3) 通过 改善 研究 法 则 ， 抑 制 不 良 情绪 的 机 器 算法 。 

4) 人 类 心理 信息 的 数学 量化 〈 建 立 心 理 模型 、 心 理 状态 评价 标准 ) 。 

5) 机 器 实现 情感 在 决策 中 的 作用 模式 ， 主 要 包括 模拟 人 脑 的 控制 模式 ， 建 立 感知 与 情 
感 决策 行为 《人 脑 控制 模式 ) 相 结合 的 数学 模型 。 

6) 借鉴 人 工 智 能 (计算 机 ) 编程 语言 的 发 展 过 程 ， 探 索 人 工 心理 (计算 机 ) 编程 语言 
的 建立 方法 是 一 个 具有 挑战 性 的 课题 。 人 工 智 能 编程 语言 是 以 知识 表示 和 人 逻辑 推理 为 特征 的 
逻辑 型 语言 ， 而 人 工 心理 编程 语言 则 是 以 联想 推理 、 混 沌 运算 、 发 散 思 维 、 模 糊 归 纳 为 特征 
的 联想 型 语言 。 

7) 情感 培养 的 机 器 算法 。 

8) 人 类 心理 暗示 与 作用 模式 的 建立 。 

9) 灵感 (顿悟 ) 产生 的 机 器 实现 策略 。 

在 国内 ， 基 于 人 工 心理 的 各 类 情感 模型 的 建立 是 研究 的 侧重 点 之 一 ， 见 表 1-1。 


表 1-1 基于 人 工 心理 的 情感 模型 研究 成 果 




















| 





















































































































































分 类 作 者 研究 内 容 
魏 哲 华 提出 情感 精 理论 
林 文 永 情感 空间 模型 
建 谷 学 静 HMM 的 情感 模型 
滕 起 反 向 传播 算法 的 情感 模型 











































































































( 续 ) 
分 类 作 者 研究 内 容 

刘 凡 ij 户 消费 情感 模型 

明 奸 服装 选 购 心理 模型 

王 婷 婷 色彩 心理 模型 

杨 国 亮 反映 人 类 情感 变化 规律 的 情感 计算 模型 
解 迎 刚 教学 过 程 中 学 习 者 趋 避 度 和 专注 度 的 情感 模型 
， 王国 江 建立 情感 数值 化 空间 
溃 翟 上 颖 游戏 虚拟 人 心理 模型 
立 腾 少 东 个 人 机 器 人 心理 模型 

王 玉 滞 基于 模糊 认 知 图 的 情感 模型 

陈锋 军 基于 需求 、 情 绪 和 动机 的 情感 计算 模型 

石 林 基于 模糊 推理 和 非 线性 方法 的 情绪 模型 

孟 秀 攀 刺激 认 知 评价 模型 ， 学 生 学 习 情 感 模型 

王 疯 人 机 交互 中 的 个 性 化 情感 模型 





表 1-2 对 情感 计算 、 感 性 工学 与 人 工 心理 研究 的 相关 性 与 侧重 点 进行 分 析 对 比 。 


表 1-2 三 大 理论 研究 的 侧重 点 
























































































































































































































































三 大 理论 侧 重 点 
信和 让 采用 一 定 的 物理 手段 获取 与 情感 相关 的 信息 ， 主 要 进行 对 情感 的 测量 和 识别 ， 其 中 测量 方法 
5 较 多 地 集中 在 生理 信号 的 量 测 ， 如 利用 人 的 生理 信号 监测 病情 等 
a 从 “感性 ”的 角度 来 研究 关于 信息 处 理 的 方法 、 过 程 以 及 用 计算 机 实现 的 方法 ， 偏 重 于 对 商 
品 的 观感 和 舒适 感 进行 研究 ， 并 没有 致力 于 对 情感 交互 能 力 的 研究 
利用 信息 手段 ， 对 人 的 心理 活动 (着重 是 人 的 情感 、 意 志 、 人 性格、 创造 ) 进行 全 面 的 人 工 机 

人 工 心理 器 〈 计 算 机 、 模 型 算法 等 ) 实现 ， 其 范围 更 加 宽广 ， 可 以 认为 人 工 心理 是 人 工 智能 在 横向 和 纵 

一 深 方面 的 进一步 发 展 。 人 工 心理 目前 着 重 于 对 混合 智能 系统 中 的 适应 性 、 情 感 交互 能 力 以 及 认 

知 方面 的 深层 探索 





























1. 3. 2 关键 技术 及 主要 内 容 


情感 机 器 人 所 涉及 的 关键 技术 及 主要 内 容 可 以 由 图 1-11 直观 地 显示 出 来 ， 每 个 关键 技 


术 及 理论 都 将 会 在 本 书 中 进行 详细 介绍 。 
1. 表情 头 的 设计 





对 于 一 个 具有 类 人 情感 的 机 器 人 来 说 ， 不 仅 需要 能 够 进行 情感 表示 的 一 系列 程序 ， 而 且 








需要 能 够 进行 情感 表现 的 一 系列 面部 表情 和 肢体 语言 。 其 中 ,本 





i 部 表情 的 展现 更 能 直接 迅速 











地 进行 人 机 交互 。 因 此 ， 表 情 机 器 人 的 头 部 设计 至 关 重 要 。 情 感 机 器 人 获取 信息 ， 经 过 信息 
处 理由 表情 机 器 头 来 呈现 其 内 在 的 情感 状态 ， 如 微笑 、 苦 恼 、 快 乐 或 者 惊吓 等 表情 ， 使 电子 
技术 与 机 械 技术 和 谐 统一 ， 最 终 使 得 人 与 机 器 人 自然 流畅 地 进行 情感 交流 。 同 时 ， 除 了 头 部 

















表情 以 外 ， 机 器 人 的 肢体 动作 也 能 传达 其 内 在 的 情感 ， 这 两 部 





分 将 在 本 书 第 2 章 “ 机 器 头 
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习 1-11 ”情感 机 器 人 涉及 的 相关 技术 及 理论 











及 身 鸳 设计 ”中 进行 详细 讲解 。 

2. 面部 动作 编码 系统 理论 

当 机 器 人 的 表情 头 设 计 好 之 后 ， 需 要 有 理论 来 支持 其 在 何 种 情况 下 做 出 何 种 表情 。 例 
如 ， 只 要 知道 一 个 人 的 脸 在 正常 状态 下 是 什么 样子 ， 通 过 对 方 的 表情 变化 ， 就 能 够 像 读 一 本 
翻 开 的 书 那样 了 解 对 方 。 美 国 心 理学 教授 保罗 “' 艾 克 曼 用 了 40 年 的 时 间 研 究 欺骗 和 伪装 ， 
在 20 世纪 60 年 代 ， 他 在 两 个 互相 隔离 的 原始 部 落 研究 他 们 的 动作 和 手势 ， 最 终 发 现 了 人 类 
共通 的 特性 ， 并 发 布 了 “面部 动作 编码 系统 ” (Facial Action Coding System ，FACS) 。 他 在 人 
的 脸 上 发 现 43 种 动作 单元 ， 每 一 种 都 由 一 块 或 者 几 块 肌肉 的 运动 构成 ， 各 种 动作 单元 之 间 
可 以 自由 组 合 ， 也 就 是 说 ， 人 脸 上 可 能 有 1 万 种 表情 ， 其 中 的 3000 种 具有 一 个 情感 意义 。 

情感 机 器 人 面部 表情 的 机 械 设 计 就 是 以 保罗 ， 艾 克 曼 教授 的 FACS 为 理论 基础 ， 情 感 机 
器 人 的 头 部 由 舵 机 来 驱动 ， 各 特征 点 运动 合成 机 器 人 的 面部 表情 。FACS 理论 认为 ， 当 人 表 
现 出 惊奇 时 ， 会 将 眉毛 抬 起 变 高 变 弯 ， 丑 毛 的 皮肤 也 会 被 拉 伸 ; 眼睛 会 睁 大 ， 上 了 眼 瞪 会 被 拾 
高 ;而 脸 的 下 显 下 落 ， 嘴 也 会 张 开 。 如 果 以 此 种 方式 拉 伸 情感 机 器 人 的 面部 肌肉 ， 便 会 得 到 
一 张 惊讶 的 脸 孔 。 关 于 面部 编码 系统 的 介绍 以 及 其 在 情感 机 器 人 中 的 应 用 将 在 本 书 第 3 章 
“表情 控制 模式 ”中 进行 详细 讲解 。 

3. 电动 机 控制 

情感 机 器 人 是 如 何 做 出 类 人 的 丰富 面部 表情 的 呢 ? 答案 是 由 电动 机 来 控制 情感 机 器 人 的 
头 部 和 身躯 的 动作 ， 因 此 研究 电动 机 的 控制 是 必 不 可 少 的 环节 。 人 情感 机 器 人 使 用 的 电动 机 在 
满足 必要 的 输出 力矩 和 输出 速度 的 同时 ， 还 要 使 机 械 结构 紧凑 、 传 动 精度 和 效率 较 高 ， 以 满 
足 机 构 速 度 和 承载 能 力 的 要 求 。 电 动机 的 选择 至 关 重 要 ， 电 动机 选择 的 好 坏 其 至 直接 关系 到 
情感 机 器 人 动作 表现 的 成 功 或 失败 。 关 于 电动 机 控制 的 详细 内 容 将 在 本 书 第 4 章 “ 电 动机 
控制 ”中 进行 详细 讲解 。 

4. 机 器 视觉 

所 谓 机 器 视觉 ， 就 是 用 机 器 代替 人 眼 来 做 测量 和 判断 工作 。 机 器 视觉 系统 是 指 通过 机 器 
视觉 产品 ( 即 图 像 摄 取 装 置 ， 包 括 CMOS 和 CCD 两 种 ) 将 被 捕捉 目标 转换 成 图 像 信 号 ， 传 
送 给 专用 的 图 像 处 理 系统 ， 再 根据 像素 分 布 和 亮度 、 颜 色 等 信息 ， 转 变 成 数字 化 信号 ; 图 像 
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处 理 系 统 对 这 些 信 号 进行 各 种 运算 来 抽取 目标 的 特征 ， 进 而 根据 判别 结果 来 控制 现场 设备 的 
动作 。 

在 情感 机 器 人 的 设计 中 ， 通 过 机 器 人 的 眼睛 (摄像头 或 照相 机 ) 将 被 检测 的 目标 转换 
成 图 像 信 号 ， 传 送 给 专用 的 图 像 处理 系 统 ， 根 据 像素 分 布 和 亮度 、 颜 色 等 信息 ， 转 变 成 数字 
化 信号 。 图 像 处 理 系 统 通过 对 这 些 信 号 进行 运算 来 抽取 目标 的 特征 ， 如 面积 、 数 量 、 位 置 、 
长 度 等 特征 ， 再 根据 预 设 的 允许 度 和 其 他 条 件 输出 结果 ， 实 现 自动 识别 功能 。 利 用 机 器 视觉 
的 相关 技术 来 解决 机 器 人 采集 目标 特征 的 详细 内 容 将 在 本 书 第 5 章 “ 机 器 视觉 ”中 进行 详 
细 讲 解 。 

5. 人 机 交互 与 合作 技术 

所 谓 的 人 机 交互 技术 (Human- Computer Interaction Techniques) 是 指 通过 计算 机 输入 / 
输出 设备 ， 以 有 效 的 方式 实现 人 与 计算 机 对 话 的 技术 。 其 中 包括 机 器 通过 输出 或 显示 设备 给 
人 提供 大 量 有 关 信 息 及 提示 请 示 等 ， 人 通过 输入 设备 给 机 器 输入 有 关 信 息 及 提示 请 示 、 回 答 
问题 等 。 人 机 交互 技术 是 计算 机 用 户 界面 设计 中 的 重要 内 容 之 一 。 它 与 认 知 学 、 人 机 工程 
学 、 心 理学 等 学 科 领 域 有 着 密切 的 联系 。 

如 果 希 望 人 与 情感 机 器 人 进行 和 谐 智 能 的 交互 合作 ， 就 需要 赋予 情感 机 器 人 听觉 与 视觉 
智能 ， 使 计算 机 能 认识 交互 的 对 象 ， 理 解 以 语言 形式 表达 的 说 话 内 容 ， 理 解 交互 对 象 的 情 
感 ， 按 人 的 要 求 进 行 工作 ， 或 回答 人 提出 的 问题 ， 以 达到 交互 的 目的 。 有 关 人 与 情感 机 器 人 
交互 的 详细 内 容 将 在 本 书 第 6 章 “ 人 机 交互 与 合作 ”中 进行 讲解 。 

6. 机 器 人 软件 平台 设计 

人 与 情感 机 器 人 交互 与 合作 的 研究 ， 不 能 仅 限于 理论 阶段 ， 还 需要 有 一 套 完整 的 软件 平 
台 进 行 实际 操作 。 本 书 第 7 章 “ 软 件 集成 ”介绍 了 情感 机 器 人 软件 交互 平台 的 设计 ， 此 设 
计 采 用 模块 化 的 设计 思想 : 将 每 一 个 功能 的 程序 代码 封装 成 一 个 独立 的 模块 ， 再 将 这 些 相对 
独立 的 功能 模块 集成 到 软件 平台 中 。 这 样 程序 的 结构 清晰 、 接 口 简 单 ， 提 高 了 功能 模块 的 扩 
展 性 。 

7. 数据 库 与 知识 库 的 建立 

数据 库 离 我 们 的 生活 越 来 越 近 ， 图 书馆 的 藏书 、 公 交 卡 、 饭 卡 及 病例 资料 等 都 是 通过 数 
据 库 来 进行 管理 的 。 对 于 人 类 本 身 而 言 ， 我 们 用 大 脑 来 记忆 存储 此 刻 之 前 的 数据 、 知 识 等 。 
因此 ， 对 于 完整 的 智能 机 器 人 系统 来 讲 ， 其 内 部 也 必须 有 存储 数据 和 知识 的 部 分 ， 这 就 是 数 
据 库 与 知识 库 。 关 于 数据 库 和 知识 库 是 如 何 进 行 存储 数据 和 知识 的 内 容 将 在 本 书 第 8 章 
“数据 库 技术 ”和 第 9 章 “ 知 识 库 技术 ”中 进行 详细 讲解 。 

8. 情感 模型 及 机 器 学 习 

机 器 人 在 某 一 刻 情 感 的 产生 ， 需 要 对 外 界 环境 、 自 身 情 感 状态 、 人 类 语言 、 胶 体 动作 、 
面部 表情 等 综合 的 信号 分 析 。 这 就 需要 对 机 器 人 的 情感 状态 进行 建 模 ， 因 此 情感 算法 的 地 位 
也 就 不 言 而 喻 了 。 目 前 国内 外 已 经 研究 使 用 了 众多 情感 建 模 算法 ,详细 内 容 将 在 本 书 第 10 
章 “ 情 感 模型 和 机 器 学 习 ” 中 介绍 。 

9. 情感 机 器 人 实例 介绍 

通过 对 以 上 知识 和 技术 的 讲解 ， 我 们 已 经 可 以 建立 起 一 个 相对 完整 的 情感 机 器 人 体系 结 
构 ， 那 么 研究 情感 机 器 人 的 目的 是 什么 呢 ? 和 情感 机 器 人 到 底 适 合 在 什么 场合 应 用 呢 ?” 管 案 不 
尽 相 同 ， 由 于 情感 机 器 人 特有 的 情感 特质 ， 其 可 以 用 于 智能 家 居 ， 可 以 用 于 老人 看 护 ; 还 可 
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以 用 于 网 络 教学 系统 ， 方 便 远 程 教学 ; 也 可 以 做 成 可 爱 的 模型 当做 儿童 玩 伴 ， 提 高 儿童 对 科 


技 的 兴趣 ; 还 可 以 辅助 治疗 上 自 闭 症 儿童 ; 同时 也 可 以 作为 服务 机 器 人 服务 特定 的 人 和 


Ht 


等 。 关 








于 情感 机 器 人 的 应 用 实例 读者 可 以 在 本 书 的 第 11 章 中 看 到 详细 的 内 容 。 
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第 2 章 “机 器 头 及 身 髓 设计 


心理 学 家 发 现 ， 在 人 类 情感 交流 的 过 程 中 ， 言 语 内 容 占 7% ， 语 调 占 38% ， 而 说 话 人 
的 表情 占 了 55% 。 因 此 ， 机 器 人 头 部 是 其 情感 交流 中 至 关 重 要 的 一 部 分 。 那 么 在 机 器 人 
与 人 类 进行 交流 时 ， 和 希望 其 具有 类 人 的 感情 ， 就 要 首先 研究 机 器 人 的 面部 表情 ， 再 以 言 
语 、 语 调 等 特征 作为 辅助 。 好 的 机 械 结 构 ， 能 为 机 器 人 的 表情 模式 研究 建立 良好 的 实物 
平台 。 本 章 将 主要 介绍 表情 机 器 头 内 部 机 械 结构 、 面 皮 、 外 壳 等 的 设计 、 人 仿真、 制作 和 
安装 。 目 前 ， 北 京 科技 大 学 王 志 良 教授 的 课题 组 已 经 设计 出 了 多 款 表情 头 ， 图 2-1 是 几 
个 典型 例子 。 

















图 2-1 北京 科技 大 学 课题 组 设计 的 多 款 表情 头 


本 章 还 介绍 了 表情 机 器 头 的 设计 总 方案 ， 并 对 电动 机 选 型 、 材 料 选择 进行 了 分 析 。 最 后 
详细 介绍 了 整个 表情 机 器 头 设计 制作 的 过 程 、 身 躯 的 设计 和 手臂 的 仿真 。 


2. 1 情感 机 器 人 的 头 部 设计 


要 设计 一 个 情感 机 器 人 ， 表 情 机 器 头 是 关键 部 件 ， 它 可 以 通过 表情 表达 出 机 融 人 内 在 的 
情感 状态 ， 最 终 使 得 情感 机 器 人 能 够 与 人 进行 自然 流畅 的 情感 交流 。 既 然 如 此 ， 所 要 设计 的 
情感 机 器 人 头 部 ， 就 必须 满足 下 面 的 要 求 : 

1) 友好 的 人 机 界面 : 该 情感 表情 机 器 人 具有 与 真实 人 物 极为 相似 的 头 部 形象 ， 使 人 在 
与 机 器 人 对 话 时 拥有 良好 的 第 一 印象 。 

2) 机 械 零 件 要 大 小 适当 、 机 构 简 单 灵活 、 重 量 较 轻 、 机 械 惯量 小 ， 机 械 结构 的 运动 幅 
度 要 与 人 类 的 头 部 特征 基本 相似 。 要 在 有 限 的 空间 里 放置 足够 多 的 机 械 零件 来 实现 多 自由 度 
协调 运转 ， 机 械 零 件 设计 至 关 重 要 。 

3) 和 谐 的 人 机 交互 模式 : 情感 机 器 人 需要 具有 良好 的 人 机 交互 能 力 ， 既 要 具有 被 动 的 
人 机 交互 功能 也 要 具有 主动 的 人 机 交互 能 力 ， 还 要 能 够 分 析出 交互 者 的 位 置 和 情感 ， 并 能 采 
取 相 应 的 情感 方式 进行 表达 和 输出 。 
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2.1.1 总 体 方案 


设计 情感 机 器 人 的 头 部 ， 首 先 从 情感 机 器 人 整体 结构 出 发 ， 在 考虑 机 构 的 运动 学 、 动 力 
学 和 控制 系统 、 驱 动 系统 和 传感器 需求 的 前 提 下 ， 进 行 了 表情 机 器 头 的 总 体 方案 设计 。 其 
次 ， 参照 FACS 编码 系统 和 真实 人 物 的 情感 表达 特点 为 机 器 人 设计 头 部 动作 单元 ， 表 情 机 咒 
人 的 动作 单元 和 自由 度 见 表 2-1。 



















































































表 2-1 自由 度 
部 位 运动 机 能 自 度 
有 眼球 上 下 及 左右 转动 4 
腿 瞪 闭合 、 张 开 2 
眉头 挑 眉 、 皱 眉 2 
嘴角 左右 嘴角 的 拉动 2 
下 里 张嘴 、 闭 嘴 1 
颈 部 摇头 、 点 头 2 
嘴唇 说 话 时 的 嘴 层 微 动 1 
总 计 14 





情感 机 器 人 头 部 〈 也 可 称 之 为 表情 头 ) 的 制作 大 致 可 以 分 为 以 下 四 个 步 又: 第 一 步 ， 
三 维 机 械 结构 的 设计 ; 第 二 步 ， 机 械 结构 的 加 工 及 装配 ， 为 了 保证 重量 和 强度 的 要 求 ， 大 部 
分 零件 采用 硬 铝 (LY12) 材料 ; 第 三 步 ， 玻 璃 钢 外 过 及 眼球 、 眼 瞪 的 安装 固定 ; 第 四 步 ， 
硅胶 外 皮 的 制作 安装 ， 面 部 表情 动作 的 设计 ， 头 发 、 睫 毛 、 眉 毛 制作 安装 、 有 眼球 上 色 及 脸 部 
的 化 妆 。 整 个 结构 制作 过 程 如 图 2-2 所 示 。 











a) b) c) d) 


图 2-2 机 器 结构 的 制作 过 程 
a) 三 维 结构 b) 机 械 结构 c) 外 壳 结 构 d) 机 器 头 





2.1.2 人体 头 部 运动 与 面部 肌肉 分 析 

我 们 设计 的 情感 机 器 人 需要 以 人 类 的 头 部 运动 作为 参考 对 象 ， 使 人 体 头 部 的 表层 肌肉 和 
颈 部 肌肉 能 够 实现 头 部 运动 和 面部 表情 生成 。 因 此 ， 了 解 人 体 头 部 以 及 面部 肌肉 的 运动 对 研 
究 情 感 机 器 人 的 面部 表情 具有 十 分 重要 的 意义 。 
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1. 头 部 运动 构成 与 分 析 

头 部 运动 包括 颈 部 自由 转动 、 摆 动 以 及 面部 的 有 眼球、 上 腿 瞪 、 嘴 及 肌肉 的 运动 。 

(1) 颈 部 的 运动 

我 们 的 颈 部 肌肉 有 18 块 ， 它 们 使 我 们 能 够 弯曲 颈 部 ， 向 前 倾斜 头 部 ， 以 及 使 头 部 从 一 
边 转向 另 一 边 。 其 中 ， 和 斜 方 肌 将 头 向 后 拉 ， 胸 锁 乳 突 肌 使 头 倾斜 或 转向 一 边 。 

(2) 眼球 的 运动 

成 人 的 眼球 近似 球形 ， 其 前 后 径 约 24mm， 垂 直径 约 23mm， 水 平 径 约 23. 5mm。 有 眼球 位 
于 眼眶 的 前 半 部 。 有 眼睛 可 以 自如 地 转动 是 因为 眼睛 有 六 条 肌肉 控制 着 眼球 的 转动 。 内 、 外 直 
肌 负 责 眼 球 向 内 或 向 外 转动 ; 上 、 下 直 肌 收缩 时 ， 眼 球 上 转 或 下 转 ， 同 时 还 使 眼球 内 转 : 上 
斜 肌 主要 使 眼球 内 旋 ， 同 时 还 使 眼球 下 转 和 外 转 ; 下 斜 肌 主要 使 眼球 外 转 ， 同 时 还 使 眼球 上 
转 和 外 转 。 这 六 条 肌肉 互相 密切 配合 ， 使 眼球 协调 一 致 地 上 下 左右 自由 转动 。 

(3) 眼 瞪 的 运动 

眼 瞪 是 长 在 眼球 前 面 的 软组织 ， 它 就 像 两 肩 能 自动 开 合 的 大 门 一 样 ， 对 眼球 起 保护 作 
用 。 有 眼 瞪 分 上 下 两 部 分 ， 上 眼 瞪 较 下 眼 瞪 大 而 宽 。 肌 层 ， 包 括 眼 轮 臣 肌 和 提 上 了 瞪 肌 ， 眼 轮 下 
肌 是 由 动 眼神 经 支配 ， 起 开 瞪 作用 。 

(4) 下 蜂 的 运动 

里 下 颌 关节 由 下 颌 关节 凹 、 骨 状 窗 、 关 节 盘 和 关节 赛 所 组 成 ， 邻 近 并 有 万 带 附着 。 杜 下 
颌 关节 是 具有 传动 和 滑动 的 左右 联动 关节 ， 主 要 有 开 闭 、 前 伸 和 侧 方 运动 三 种 基本 形式 。 这 
些 运 动 是 通过 咀 鄙 肌 群 、 韧 带 、 关 节 之 间 互 相 协调 的 动作 而 产生 的 。 

2. 面部 肌肉 分 析 

面 肌 为 遍 注 的 皮 肌 ， 位置 浅 表 ， 降 眉 间 肌 
大 多 起 自 颅骨 的 不 同 部 位 ， 止 于 面部 
皮肤 ， 主 要 分 布 于 面部 孔 裂 周围 ， 如 
眼 裂 、 口 裂 和 鼻孔 周围 ， 可 分 为 环形 
肌 和 辐射 肌 两 种 ， 有 闭合 或 开 大 上 述 
孔 裂 的 作用 ; 同时 ， 牵动 面部 皮肤 ， 
显示 喜 怒 衣 乐 等 各 种 表情 。 人 类 面 肌 
较 其 他 动物 发 达 ， 这 与 人 类 大 脑 皮 质 
的 高 度 发 展 、 思 维和 语言 活动 有 关 ， 
人 和 耳 周围 肌 已 明显 退化 。 人 体面 部 肌 
肉 分 布 图 如 图 2-3 所 示 。 

(1) 颅 项 肌 

颅 项 肌 阔 而 薄 ， 左 右 各 有 一 块 枕 
额 肌 ， 它 由 两 个 肌 腹 和 中 间 的 帽 状 腿 
膜 构 成 。 前 方 的 肌 腹 位 于 额 部 皮下 ， 图 2-3 面部 肌肉 分 布 图 
称 额 腹 ; 后 方 的 肌 腹 位 于 枕 部 皮下 ， 
称 枕 腹 。 帽 状 妥 膜 很 坚韧 ， 连 于 两 肌 腹 ， 并 于 头皮 芭 密 结合 ， 而 与 深部 的 骨膜 则 隔 以 下 松 的 
结缔 组 织 。 枕 腹 起 自 枕 骨 ， 额 腹 止 于 眉 部 皮肤 。 枕 腹 可 向 后 牵 拉 帽 状 妥 腊 ， 额 腹 收 缩 时 可 提 
眉 ， 并 使 额 部 皮肤 出 现 皱纹 。 
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(2) 眼 轮 牙 肌 

眼 轮 否 肌 位 于 眼 裂 周围 ， 呈 扁 圆 形 。 能 使 眼 裂 闭合 。 由 于 少量 肌 束 附着 于 泪 圳 后 面 ， 当 
收缩 闭 眼 时 ， 可 同时 扩张 泪 吉 ,促使 泪液 经 蜡 泪 管 流 向 盟 腔 。 

(3) 口 周 围 肌 

口 周 围 肌 位 于 口 裂 周围 ， 包 括 辐 射 状 肌 和 环形 肌 。 辐 射 状 肌 分 别 位 于 口 层 的 上 、 下 方 ， 
能 上 提 上 层 ， 降 下 层 或 拉 口 角 向 上 、 向 下 或 向 外 。 在 面 琐 深部 有 一 对 类 肌 ， 此 肌 紧 贴 口 腔 侧 
壁 ， 可 使 唇 、 颊 紧 贴 牙齿 ， 帮 助 咀 嘱 和 吸 哆 ; 还 可 以 外 拉 口 角 。 环 绕 口 裂 的 环形 肌 称 为 口 轮 
臣 肌 ， 收 缩 时 关闭 口 裂 〈 闭 嘴 ) 。 

(4) 鼻 肌 

鼻 肌 不 发 达 ， 为 几 块 扁 薄 小 肌 ， 分 布 在 曙 孔 周围 ， 有 开 大 或 缩小 鼻孔 的 作用 。 

3. 面部 表情 研究 及 实现 方法 

机 器 人 要 产生 仿 人 的 表情 ， 一 般 有 如 下 两 个 方向 : 

其 一 是 采用 机 械 结构 并 安装 摄像 机 、 传 声 器 等 传感器 构成 头 部 和 眼 、 耳 、 口 等 器 官 。 
根据 美国 心理 学 家 Ekman 的 面部 动作 编码 系统 (Facial Action Coding System ，FACS) 的 
44 个 运动 单元 (AU) 中 ， 有 24 个 AU 与 人 的 表情 有 关 。 为 实现 面部 表情 ， 在 机 器 人 面 
部 皮肤 上 设计 与 各 AU 点 对 应 的 表情 控制 点 ， 面 部 表情 驱动 机 构 (一 般 采 用 电动 机 、 气 和 
了 驱动， 液压 驱动 ) 与 表情 控制 点 相连 ， 通 过 表情 控制 点 的 组 合 和 位 移 变化 ， 实 现 不 同 的 
面部 表情 。 

其 二 是 采用 仿 人 头骨 、 仿 人 器 官 、 仿 人 肌肉 、 仿 人 皮肤 等 构成 人 头 部 ， 用 人 工 肌 肉 来 驱 
动产 生 表情 ， 可 以 使 头 部 外 表 和 面部 表情 高 度 仿真 ， 但 目前 来 说 ， 在 仿 人 肌肉 等 方面 的 研究 
还 不 十 分 完善 ， 实 现 起 来 比较 困难 。 所 以 ， 目 前 大 多 采用 前 一 种 方法 ， 如 日 本 的 原文 雄 教 授 
研制 的 “AH I” 机 器 人 。 

人 脸 是 一 个 层次 化 的 结构 ， 它 由 头骨 、 肌 肉 层 、 禾 六 的 结缔 组 织 和 外 部 的 皮层 组 成 ， 人 
脸 表 情 的 产生 是 由 于 脸 部 肌肉 的 变形 引起 的 。 使 人 脸 具 有 表情 所 涉及 的 主要 肌肉 有 口 轮 臣 
肌 、 鼻 肌 、 额 肌 、 眼 轮 臣 肌 等 ， 层 部 的 状态 主要 由 口 轮 臣 肌 完 成 ; 皱 描 子 主要 由 于 锚 肌 收 
缩 ; 阁 肌 收缩 造成 烽 骨 处 脸颊 的 提高 ; 眼睛 及 眼 部 周围 的 运动 主要 是 由 眼 轮 臣 肌 收 缩 导 
致 的 。 

瑞典 解剖 学 家 约 特 舍 在 20 世纪 60 年 代 首次 发 现 并 研究 了 人 类 表情 的 最 小 单元 ， 在 约 特 
舍 理 论 的 基础 上 ， 美 国 心理 学 家 Paul Ekman 和 Friesen 较 早 地 对 脸 部 肌肉 群 的 运动 及 其 对 表 
情 的 控制 作用 做 了 深入 研究 ， 开 发 了 面部 动作 编码 系统 (Facial Action Coding System ， 
FACS) 来 描述 人 类 面部 表情 。 他 们 根据 人 脸 的 解剖 学 特点 ， 将 其 划分 成 既 相 互 独立 又 相互 
联系 的 44 个 运动 单元 (AU)， 并 分 析 了 这 些 运动 单元 的 运动 特征 及 其 所 控制 的 主要 区 域 及 
与 之 相关 的 表情 。 这 44 个 活动 单元 指 的 是 脸 部 肌肉 的 运动 ， 其 中 某 些 基本 运动 的 组 合 就 构 
成 特定 的 面部 表情 。 例 如 ， 向 上 坚 起 眉毛 是 一 个 活动 单元 ， 抬 起 面颊 是 一 个 活动 单元 ， 抬 起 
嘴角 也 是 一 个 活动 单元 ， 抬 起 嘴角 并 抬 起 面颊 就 形成 了 微笑 。 关 于 面部 动作 编码 系统 的 详细 
介绍 见 本 书 第 3 章 。 

通过 对 上 述 理论 的 研究 和 分 析 ， 得 到 的 基本 的 面部 表情 的 肌肉 运动 大 致 组 合 见 表 2-2。 
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表 2-2 肌肉 运动 与 表情 的 关系 表 


































































































































































































表 情 额头 、 导 毛 眼 有 晴 脸 的 下 半 部 
站 毛 抬 起 ， 变 高 变 弯 ， 眉 毛 的 皮肤 | ”眼睛 陷 大 ， 上 限 
惊 诗 颌 下 落 ， 嘴 张 开 
惊奇 | 窗 拉 伸 险 被 抬 高 TR 
站 毛 抬 起 并 皱 在 一 起 ， 额 头 的 皱纹 
恺 惧 上 了 眼 瞪 抬 起 嘴 张 开 ， 嘴唇 轻微 紧张 ， 向 后 拉 
| 民 险 抬 起 虎 张 开 ， 嘴 层 经 微 紧张 ， 向 后 拉 
厌恶 由 毛 及 上 限 输 压低 二 上 展 失 起 ， 嘴 角 下 拉 ， 脸 类 抬 起 
愤怒 由 毛 统 起 ， 眉 宝 间 出 现 竖 纹 眼睛 愤怒 地 陷 着 “| 。 展 紧 闭 ， 嘱 角 拉 直 ， 或 晓 张 
高 内 站 毛 有 点 弯 二 嘴角 后 拉 并 抬 高 ， 嘴 张大 ， 脸 类 抬 起 
眼 内 角 的 上 眼 险 
翡 伤 站 毛 内 角 急 在 一 起 抬 高 ee 嘴角 下 拉 
全 局 


2.2 ”表情 头 的 实现 


2.2.1 标准 件 的 选取 


1. 电动 机 的 选取 
情感 机 器 人 使 用 的 电机 在 满足 必要 输出 力矩 和 输出 速度 的 同时 ， 必 须 使 机 械 结构 紧凑 、 
传动 精度 和 效率 较 高 ， 能 够 满足 机 构 速度 和 承载 能 力 的 要 求 。 电 动机 的 选择 至 关 重 要 ， 电 动 
机 选择 得 好 坏 其 至 直接 关系 到 项 目的 成 功 或 失败 。 我 们 根据 具体 情况 ， 选 择 体积 小 ， 重 量 
轻 ， 经 济 实用 的 舵 机 作为 本 设计 的 主要 电动 机 元 件 。 本 章 下 面 所 介绍 的 情感 机 器 人 的 表情 头 
一 共 选 用 了 两 种 型 号 的 艇 机 ， 人 参数 见 表 2-3。 
表 2-3 舵 机 参数 表 















































HG14-M GWS MICRO 2BBMG 
电压 : 4.8~7.4V 电压 : 6.0V 
转 和 矩 : 14kg * cm 转 和 矩 : 6. 4kg .cm 
尺寸 : 40mm x43mm x 19mm 尺寸 : 28mm x 14mm x29. 8mm 








2. 机 械 材料 的 选取 

目前 ， 市 面 上 的 工程 材料 种 类 繁多 ， 大 体 上 可 分 为 金属 材料 和 非 金 属 材 料 两 类 。 人 金属 材 
料 又 可 以 分 为 黑色 金属 和 有 色 金 属 。 非 金属 材料 主要 包括 工程 塑料 、 橡 胶 和 工程 涂料 。 具 体 
包括 橡胶 与 橡胶 制品 、 玻 璃 与 玻璃 制品 、 陶 次 制品、 耐火 材料 与 隔 热 材料 、 碳 和 石墨 材料 、 
石棉 、 云 母 、 电 气 绝缘 材料 、 塑 料 与 塑料 制品 、 涂 料 、 燃 料 和 润滑 材料 等 。 常 用 金属 材料 主 
要 有 钢 、 铁 、 铜 、 铝 、 钛 、 镁 、 钊 、 镑 、 铅 和 锡 等 。 其 中 每 种 材料 还 可 以 分 成 若干 小 类 。 通 
常情 况 下 很 少 使 用 单一 的 金属 材料 ， 合 金 材料 的 使 用 比较 广泛 。 

由 于 情感 机 器 人 头 部 对 机 械 零 件 强度 的 要 求 较 小 ， 所 以 可 以 选用 斥 才 尽 可 能 小 的 零件 ， 
同时 考虑 到 机 械 松动 的 问题 ， 所 以 不 适合 用 塑料 之 类 的 工程 材料 。 考 虑 到 美观 和 成 本 的 原 
因 ， 我 们 采用 抗 拉 强度 较 低 、 比 重 较 轻 但 硬度 较 高 的 硬 铝 合金 。 硬 铝 合 金 LY12 的 元 素 组 成 









































23 


如 下 : 

人 硅 0.5%， 铁 0.5%， 铜 3.8% ~4.9%，, 色 0.3% ~ 0.9% ,人 镁 1.2% ~ 1.8%， 馈 
0.10%， 锌 0.25%， 钛 0.15%， 其 他 0.15%，LY12 的 力学 特性 见 表 2-4， 完 全 可 以 满足 仿 
人 头 部 机 器 人 对 零件 材料 的 要 求 。 

表 2-4 LY12 力学 特性 


op/ MPa ai0 (%) HBS 





420 15 100 


2.2.2 结构 设计 


1. 制作 过 程 

表情 头 的 制作 主要 包括 以 下 几 个 过 程 : 

1) 三 维 机 构 设计 : 本 设计 采用 Pro/E 进行 实体 建 模 ， 按 照 自然 人 脸 的 比例 大 致 确定 内 
部 机 械 结构 的 尺寸 ， 检 查 有 无 元 件 干扰 和 有 没有 安装 空间 ， 并 在 必要 情况 下 进行 机 构 动 态 仿 
真 。 检 查 机 构 运 行 是 否 流畅 ， 观 察 机 构 运 行 效 果 。 

2) 机 械 零 件 的 加 工 、 装 配 和 初步 调试 : 机 械 零 件 在 装配 完成 后 要 进行 初步 调试 ， 以 确 
定安 装 的 位 置 和 角度 ， 防 止 开 机 时 机 械 头 复位 产生 卡 死 的 问题 。 

3) 配件 安装 固定 : 安装 和 固定 玻璃 钢 外 壳 及 眼球、 有 眼 瞪 。 

4) 硅胶 外 皮 固定 : 制作 和 安装 硅胶 外 皮 ， 安 装 头 发 、 睫 毛 、 丑 毛 并 进行 脸 部 化 妆 。 

2. 三 维 设计 

可 以 利用 三 维 设计 软件 Pro/E 进行 实体 建 模 ， 从 三 
维 图 上 直观 地 看 到 实物 模型 ， 并 对 整体 结构 进行 干涉 检 
验 。 表 情 机 器 头 的 三 维 设计 图 如 图 2-4 所 示 。 

3. 加 工 和 装配 

考虑 到 现实 中 人 脸 的 差异 性 以 及 加 工 、 安 装 时 的 误 
差 ， 我 们 将 重要 特征 尺寸 (如 两 眼中 心 距离 、 眼 和 嘴 的 
相对 位 置 等 ) 的 机 械 零件 采用 浮动 设计 ， 对 需要 孔 和 边 
定位 的 零件 均 采 用 长 形 槽 的 方法 进行 定位 ， 这 样 既 可 以 
轻松 避免 加 工 和 安装 误差 所 产生 的 问题 ， 又 可 以 广泛 适 
用 于 不 同人 物 的 脸型 ， 只 需 进行 简单 的 变动 ， 然 后 加 上 
该 形象 的 面皮 即 可 轻松 完成 新 的 人 物 形象 制作 。 图 2-4 表情 机 器 头 的 三 维 设计 图 

4. 固定 

机 械 零 件 在 安装 完成 后 需要 进行 简单 的 动作 的 调试 ， 确 保 运动 机 构 能 够 顺畅 运行 ， 同 时 
还 要 初步 确定 各 种 动作 的 机 构 主 动 件 (电动机) 运动 范围 。 待 检查 没有 问题 了 以 后 ， 就 可 
以 将 事先 做 好 的 玻璃 钢 外 壳 和 人 物 形象 面皮 固定 在 机 械 结 构件 上 ， 如 图 2-5 所 示 。 

5. 修饰 和 化 妆 

在 表情 机 器 头 完工 之 前 ， 为 了 做 到 高 度 的 逼真 性 ， 进 行 修饰 和 化 妆 是 十 分 必要 的 。 在 安 
装 眼睫毛 、 胡 子 、 假 发 并 化 妆 后 的 效果 如 图 2-6 所 示 。 
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图 2-5 套 上 玻璃 钢 外 壳 的 表情 机 器 头 图 2-6 表情 机 带头 的 外 形 





2.2.3 动作 设计 


1. 眼球 的 设计 

我 们 给 眼 部 的 设计 自由 度 是 6 个 ， 每 只 
眼球 3 个 自由 度 ， 包 括 眼 球 的 上 下 运动 、 眼 
球 的 左右 运动 和 有 眼 瞪 的 开 合 。 由 于 眼 部 结构 
复杂 、 空 间 紧 竣 、 动 作 相对 比较 灵活 、 运 动 
几率 较 高 ， 因 此 选用 台湾 产 的 带 金 属 齿 轮 
MICRO 2BB MG 型 号 的 小 舵 机 。 为 保证 机 器 
头 的 人 颈 部 舵 机 能 带动 整个 头 部 运动 (点 头 和 
摇头 )， 人 有 贷 部 的 材质 应 选用 人 硬 铝 (LY12 ) ， 
既 可 满足 强度 要 求 又 能 减轻 重量 。 机 械 结构 
设计 三 维 图 如 图 2-7 所 示 。 

结构 的 原理 是 : 舱 机 4 和 艇 机 5 利用 配 
套件 直接 与 眼球 连 在 一 起 ， 直 接 控制 眼球 沿 图 2-7 ”机械 结 构 设计 三 维 
左右 方向 运动 ， 理 论 上 转动 角度 可 以 达到 
180"， 但 实际 上 的 运动 幅度 可 能 只 需要 30% 舵 机 2 通过 一 个 四 杆 机 构 (包括 电机 配套 件 ， 底 
座 ， 拉杆 和 动 支 杆 ) ， 这 样 一 个 艇 机 就 可 以 控制 2 个 眼球 的 上 下 方向 转动 ， 一 个 舵 机 完成 了 
2 个 自由 度 的 控制 ， 在 实现 必要 功能 的 情况 下 节省 了 许多 空间 。 舵 机 1 和 舵 机 3 用 来 控制 眼 
瞪 的 运动 。 眼 瞪 闭合 和 张 开 也 利用 一 个 四 杆 机 构 来 实现 ， 机 构件 主要 包括 电动 机 配套 件 、 连 
杆 、 眼 瞪 和 底座 ， 动 作 非 常 灵活 。 眼 部 的 动作 如 图 2-8 所 示 。 

2. 颈 部 的 设计 

图 2-9 所 示 为 颈 部 二 维 装配 图 ， 其 中 的 舵 机 选择 HG14- M 型 号 舱 机 。 由 于 整个 头 部 的 
机 械 结构 相对 来 说 比较 重 ， 所 以 对 有 颈 部 的 设计 采用 了 两 个 51104 的 推力 球 轴承 来 承担 轴 向 
力 。 使 用 轴承 的 另 一 个 好 处 是 轴承 圈 和 滚珠 之 间 是 高 副 连接 ， 比 普通 的 低 副 连接 受到 的 摩擦 
阻力 要 小 得 多 ， 因 而 对 电动 机 的 力矩 要 求 大 大 降低 ， 对 控制 系统 有 一 定好 处 。 

头 部 的 整体 支架 是 用 硬 铝 加 工 而 成 ， 对 头 部 起 整体 支撑 作用 。 上 面 安 装 了 眉头 舵 机 、 嘴 
部 舵 机 和 有 眼 部 底板 等 。 
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3. 眉头 的 设计 

眉头 部 分 的 自由 度 有 两 个 : 眉毛 向 上 挑 和 锌 眉 。 眉 头 运 动 是 通过 舵 机 的 舵 盘 拉动 硅胶 面 
皮 的 眉头 部 分 实现 的 。 由 于 面皮 材料 的 弹性 不 是 很 好 ， 因 此 眉头 部 分 的 拉动 在 图 片 中 的 幅度 
也 不 是 很 大 ， 如 图 2-10 所 示 。 





图 2-10 眉头 部 分 的 动作 实现 


4. 嘴 部 的 设计 

嘴 部 运动 是 通过 张嘴 和 嘴角 拉动 来 实现 的 。 舵 机 带动 连 杆 ， 使 连 杆 上 的 下 牙 片 带动 面皮 
的 下 颌 实现 嘴巴 张 开 、 闭 合 。 上 牙 片 和 下 牙 片 上 都 固定 按 人 比例 制作 的 假牙 、 假 牙 床 。 嘴 角 
的 运动 和 眉毛 的 运动 原理 是 一 样 的 ， 也 是 通过 拉线 的 方式 完成 。 图 2-11 所 示 为 张嘴 动作 实 
现 的 三 维 图 ， 图 2- 12 所 示 为 嘴 部 表现 出 正常 、 嘴 角 拉动 及 张嘴 的 形态 。 





嘴角 拉动 张嘴 





图 2-11 张嘴 动作 的 实现 图 2-12” 嘴 部 的 动作 实现 


2.2.4 ”面皮 及 面部 支撑 过 的 制作 


情感 机 器 人 的 面皮 采用 硅胶 材料 ， 按 照 人 物 外 形 比 例 制 成 。 硅 胶 具 有 良好 的 稳定 性 ， 无 
害 、 无 毒 ， 而 且 理化 性 质 稳 定 ， 用 在 情感 机 器 人 上 不 会 对 人 引起 副作用 。 其 次 ， 硅 胶 面 皮 为 
有 形 实 体 ， 不 易 变 形 ， 塑 造 的 人 物 形 象 可 以 长 久保 持原 来 的 状态 ， 再 者 ， 硅 胶 面 皮具 有 非常 
好 的 弹性 ， 便 于 人 脸 肌 肉 的 拉动 。 另 外 ， 硅 胶 面 皮 有 类 人 的 皮肤 效果 ， 看 起 来 比较 逼真 ， 这 
对 表情 机 器 人 的 设计 来 说 是 非常 重要 的 。 面 皮 文 撑 件 采用 玻璃 钢 制 成 。 玻 璃 钢 学 名 玻璃 纤维 
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增强 塑料 。 它 是 以 玻璃 纤维 及 其 制品 〈 玻 璃 布 、 带 、 秸 、 纱 等 ) 作为 增强 材料 ， 以 合成 树 
脂 作为 基体 材料 的 一 种 复合 材料 。 玻 璃 钢材 料 具有 轻 质 高 强 、 耐 腐蚀 性 能 好 、 电 性 能 好 、 热 
导 性 能 好 、 可 设计 性 好 、 工 艺 性 优良 等 特点 ， 用 于 机 器 人 技术 是 非常 好 的 一 种 选择 。 总 体 来 
说 面皮 和 玻璃 钢 壳 的 制作 可 以 分 成 以 下 四 个 
步骤 。 

1. 泥 模 制作 

首先 要 为 情感 机 器 人 选 定 一 个 合适 的 外 形 ， 
也 就 是 情感 机 器 人 做 出 来 以 后 要 实现 的 人 物 形 
象 。 本 设计 选 定 模仿 著名 科学 家 爱 因 斯 坦 的 形 
象 。 泥 模 的 制作 材料 是 条 土 ， 采 用 雕刻 的 方法 
来 实现 人 物 形象 的 形成 。 机 器 人 头 部 泥塑 如 图 
2-13 所 示 。 | 台 

2. 五 清 模 制作 图 2-13 机 器 人 头 部 泥塑 

泥 模 在 做 好 之 后 就 可 以 进行 石膏 模 的 制作 。 
其 制作 目的 是 形成 该 泥 模 的 止 模 ， 采 用 的 方法 如 下 : 将 温水 倒 在 器 下 内， 将 石膏 粉 逐 渐 散 布 
在 水 内 。 注 意 此 步 不 能 心急 ， 和 否则 会 有 气泡 出 现 。 石 膏 粉 倒 人 水 内 时 ， 不 可 立即 搅拌 ， 让 它 
有 一 小 段 时 间 静 止 ， 约 一 分 钟 到 两 分 钟 。 利 用 匙 凌 或 棒子 来 搅拌 使 温水 和 石 喜 粉 能 充分 混 
合 ， 等 待 一 两 分 钟 让 混合 的 石膏 凝固 。 将 石膏 抹 在 事先 已 经 做 好 的 泥 模 上 ， 完 全 干 透 后 便 形 
成 四 模 。 将 泥 模 从 中 间 掏 出 ， 此 时 正好 形成 一 个 和 原 泥 模 一 模 一 样 但 性 质 相反 的 石膏 模型 。 

3. 硅胶 面皮 制作 

在 容器 里 倒 入 适量 的 液体 硅胶 ， 按 1:1 加 入 固化 剂 搅 
拌 均匀 后 ， 用 刷子 把 该 液体 刷 到 做 好 的 石膏 模具 内 壁 ， 连 
续 几 天 每 天 刷 一 次 ， 等 硅胶 液体 形成 的 面皮 厚度 达到 要 求 
后 取出 ， 一 张 棚 棚 如 生 的 硅胶 面皮 就 算 制 作 完成 了 。 注 意 ， 
固化 剂 的 比例 是 可 以 调节 的 ， 固 化 剂 的 比例 越 高 ， 液 体 的 
凝固 速度 就 更 快 ， 在 实际 应 用 时 一 定 要 选择 合适 的 比例 ， 
凝固 太 快 和 凝固 太 慢 都 不 利于 面皮 的 制作 。 另 外 ， 在 往 已 
经 刷 过 几 次 的 面皮 上 再 次 刷 硅 胶 液 体 时 ， 可 以 在 原来 的 面 
皮 上 添加 纤维 丝 等 来 增加 面皮 强度 ， 这 样 制作 好 的 面皮 就 
会 在 拥有 良好 的 弹性 的 同时 还 能 承受 相当 的 拉力 而 不 损坏 。 
面皮 制作 好 后 效果 如 图 2-14 所 示 。 图 2-14 ”硅胶 面皮 

4. 玻璃 钢 壳 制作 

这 时 先 不 用 将 面皮 从 模具 中 取出 来 ， 再 在 模具 上 面 继续 翻 制 玻璃 钢 的 外 过 ， 这 样 就 可 以 
保证 玻璃 钢 壳 和 面皮 的 紧密 贴 合 。 玻 璃 钢 是 用 玻璃 纤维 及 其 织物 与 合成 树脂 复合 而 成 的 材 
料 ， 玻 璃 钢 有 以 下 主要 特点 : 

1) 强度 高 、 耐 高 温 、 化 学 稳定 性 好 、 电 绝缘 性 好 ; 

2) 玻璃 钢 重 量 轻 ， 只 相当 于 钢 的 1/5 ~ 1/4 ， 而 机 械 强度 是 塑料 中 最 高 的 ， 某 些 性 能 已 
达到 普通 钢 的 水 平 ; 

3) 国 化 后 的 玻璃 钢 有 较 高 的 粘 接 强度 ， 固 化 时 收缩 性 小 且 不 易 变 形 。 但 不 足 之 处 在 于 
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相对 制作 成 本 高 ， 某 些 国 化 剂 有 一 定 毒 性 ， 难 于 修改 、 打 磨 、 修 整 ， 制 作 工 艺 繁 琐 。 
将 调制 好 的 玻璃 钢 溶液 用 毛 刷 在 面皮 上 涂 刷 1 ~2 壳 ， 往 上 面 放置 玻璃 纤维 布 ， 然 后 再 





往 玻璃 纤维 布 上 涂 刷 1 ~2 遍 玻 璃 钢 溶液 ， 直 到 
达到 所 需要 的 厚度 为 止 。 等 到 玻璃 钢 完 全 固化 后 
即 可 脱 模 成 型 了 。 玻 璃 钢 外 壳 制 作 完成 后 效果 如 
图 2-15 所 示 。 


2.2.5 其 他 附件 


在 机 械 结 构 和 面皮 、 玻 璃 钢 壳 固定 的 过 程 
中 ， 还 要 通过 调试 电动 机 以 确保 面部 动作 及 表情 
的 准确 和 逼真 。 

2. 2.6 ”运动 学 仿真 

机 器 人 头 部 运动 学 仿真 涉及 正 运 动 学 、 首 运 
动 学 、 工 作 空间 、 轨 迹 规划 等 问题 。 本 文通 过 分 
析 实 物 ， 发 现 表 情 头 的 头 部 各 部 位 的 运动 其 实 是 
带 有 闭 链 的 串联 连 杆 的 运动 ， 其 中 闭 链 的 四 杆 
机 构 是 驱动 器 ， 可 以 驱动 其 他 连 杆 运动 ， 由 于 
我 们 是 在 关节 空间 中 分 析 问 题 ， 而 不 是 在 驱动 
空间 ， 这 样 我 们 就 不 必 考 虑 四 杆 机 构 ， 直 接 把 
它 简化 成 被 驱动 的 连 杆 ， 使 问题 得 到 简化 。 通 
过 Pro/E 三 维 造型 ， 得 到 各 关节 的 具体 尺寸 ， 
为 我 们 分 析 问 题 提 供 了 方便 。 

机 器 人 眼球 的 正 运动 学 分 析 ， 建 立 如 下 坐标 
系 : 共 设 五 个 坐标 系 一 一 S$, ，S, ，S;，54。 和 Ss， 如 
图 2-16 所 示 ， 这 里 我 们 采用 的 是 后 置 坐标 系 。 其 
中 坐标 系 的 2 与 关节 轴 重 合 ， 坐 标 系 的 原点 位 于 两 
关节 轴 公 重 线 与 关节 轴 的 交点 , 式 轴 沿 公 恒 线 由 前 
一 关节 指向 后 一 关节 。 机 器 人 眼球 运动 各 杆 件 参数 
见 表 2-5。 





























到 2-15 玻璃钢 外 壳 
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到 2-16 机 器 人 眼球 坐标 系 























两 杆 间 的 位 姿 矩 阵 ， 根 据 参数 表 和 D-H 公式 可 得 


co 0 


sO 


OO 一 OO © 
SQ 
S 
* 
人 
SD 
~ 




















表 2-5 机 器 人 眼球 运动 各 杆 件 参 数 


















































A Qa;_1/mm 
关节 Qa;_1/(°) (关节 加 d;/mm 0./(°) 
1 Dn 米 Er = > 元 “过 [e) 
i (交错 角 ) (结构 参数 ) | (关节 变量 ) | 代表 的 动作 | 关节 范围 /(°) 
公 垂 距 ) 
1 90 0 0 O01 摇头 0 ~180 
2 0 ay 0 0 点 头 57 ~85 
眼球 上 下 
3 -90 0 as 0 90 ~111 
运动 
左 眼 球 左 
4 0 0 04 | 79 ~89 
右 运 动 
c0s -3S0 0 
3 s06; 0 CO03 0 
4 了 = 
0 —1 0 Qs 
0 0 0 1 
c0， -ss0, 0 
es s0, co 0 
5 了 = 
0 0 1] as 
0 0 0 1 
\ » » 1 
将 各 个 连 杆 矩阵 连 乘 得 到 ;了 
nm Tm Ts3 Ps: 
r r r»y 也 
1 21 722 723 PP, 
sT= 
731 732 733 PP: 
0 0 0 1 
式 中 
ri = (C1*C *C3 —C 8 *83) kc4— Sl F584 
ry = (S81 * Cy FC3— S18 83) kC4 + * S84 
rT31 = 一 (cl 内 Co 灶 C3 一 CI 凡 S 于 53) *S4 一 SI* Ca 
ry = 一 (cl 洲 C) 一 S1 洲 S) 洲 C3 凡 84 一 (Cl 六 C) mS *S) *S3* Cy 
ry = —(S1*C FC 3 
723 二 —(s, * C3 +cC, * ss) * S4 
Ns TC 0 C1 3 
123 = 一 S1 洲 C2 米 S3 一 S1 米 S2 米 C3 
rT33 = 一 S) * $3 十 C? * C3 


p=( -ce RS —CI*S C3) ka +s a3 +Cl * a 六 Co 


Py = 人 一 S1 内 C 水 33 一 3 水 S2 水 C3) 六 04 一 C1 六 3 +S1 * 02 沙 C2 


p:=( — $2 * 83 十 Co * C3) *¥ 04 + Qs 米 S2 
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a =112 
a3 =34 
a4 =34 


30 
其 中 c=cos0,(i=1, 2, 3, 4); s,=sing,(i=1, 2, 3, 4) 
于 是 可 得 眼球 作为 末端 执行 器 的 姿态 和 位 置 分 别 是 
rm M2 N13 Ps: NonName 


Rel Ww i x [Toma yf od z:| oo03 
ax| 0000 ay] 000 az 1000 
















731 7T32 733 Pp: 

机 器 人 眼球 的 运动 仿真 ,通过 matlab 中 
的 robot tools 工具 箱 ， 建 立 从 机 器 人 膀子 到 了 眼 
球 的 运动 模型 ， 在 控制 面板 ( 见 图 2-17) 的 
控制 框 内 输入 4 个 关节 角 的 值 ， 便 可 以 计算 出 
眼球 相对 于 基础 坐标 系 的 空间 位 置 ， 如 图 2- 户 | La 3 
18 所 示 的 三 维 立 体 图 (图 示 为 起 始 状态 )， 这 
样 ， 就 可 以 驱动 机 器 人 头 部 运动 ， 其 效果 如 
同 实际 控制 机 器 人 一 样 。 





图 2-17 控制 面板 











图 2-18 三 维 立体 图 





正 运 动 仿真 实例 

假定 机 器 人 眼球 初始 关节 量 qg=10 0 0 0]， 此 时 眼球 位 于 空间 N, = (0.112， 
0. 000 ，0. 034) 的 位 置 ， 当 运动 到 空间 N。 = (0.115，- 0.005，0. 075) 时 关节 变量 就 会 变 
化 至 gq. = [0.25132 0.37698 -0.56547 0. 18849] ， 通 过 matlab 仿真 ， 可 以 生成 机 器 人 
从 起 点 运动 到 终点 的 关节 坐标 轨迹 。 例 如 第 一 个 点 为 


7T(:,:, 1) = 
1. 0000 0 0 0.1120 
0 1.0000 0 0 
0 0 1.0000 0.0340 


0 0 0 1.0000 
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最 后 一 点 为 
7 (:,:，36) = 
0. 8880 一 0. 4220 0. 1815 0.1070 
0. 4214 0. 9057 0.0466 0.0275 
—0. 1841 0. 0351 0.9823 0.0746 
0 0 0 1. 0000 


运动 学 验证 ， 对 终止 位 置 关 节 量 进行 赋值 : 
0, =0.25132，6, =0.37698, 9; = -0.56547, 9, =0. 18849 
代入 公式 姿态 矩阵 和 位 置 矩 阵 可 得 
ry ra ra 0.8880 -0.4226 0.1815 
区 4214 0.9057 0.0466 
-0.1814 0.0351 0.9823 


R=|r ry Ty»|= 


731 T32 TT33 





p:| ro0.1070 
P=|p, |=| 0.0275 
六 | Lo0.0746 





和 上 面 公式 中 的 最 后 一 点 的 位 姿 矩 阵 结 果 完 全 符合 ， 可 见 正和 运动 学 模型 完全 正确 。 

仿真 结果 分 析 : 通过 仿真 ， 可 以 看 出 机 器 人 头 部 各 关节 在 运动 过 程 中 情况 正常 ， 运 动 平 
稳 ， 连 杆 之 间 没 有 错位 冲突 的 情况 ， 验 证 了 所 有 连 杆 参数 设计 的 合理 性 。 

机 器 人 眼球 末端 位 移 曲 线 如 图 2-19 所 示 ， 表 示 机 器 人 从 初始 位 置 运动 到 终止 位 置 时 ， 
末端 关节 沿 x*，y，z 方 向 的 位 移 变 化 。 





图 2-19 ”机 器 人 眼球 末端 位 移 曲线 
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其 位 移 变化 三 维 图 如 图 2-20 所 示 。 


图 2-20 眼球 位 移 变化 三 维 图 





其 中 各 关节 变量 变化 如 图 2-21 所 示 。 





机 器 人 眼 瞪 的 运动 学 仿真 ， 机 器 人 眼 瞪 的 正 运动 学 ， 建 立 如 下 坐标 系 ， 共 设 六 个 坐标 
系 : 1 S,， 93 ， 94 ， 5 ， 96 ， 如 图 2- 22 所 示 。 机 器 人 眼 瞪 运 动 各 杆 件 参数 见 表 2-6。 





图 2-22 机 器 人 眼 险 正 运动 学 坐标 系 





表 2-6 机 器 人 眼 瞪 运动 各 杆 件 参数 表 



































关节 a/ (°) a/ mm d/mm Ba 代表 的 动作 关节 范围 /(°) 
1 90 0 0 01 摇头 0~180 
2 0 02 0 0 点 头 57 ~85 
3 -90 0 as 03 眼球 上 下 运动 90~111 
4 90 0 aa 04 左 眼 球 左右 运动 79 ~89 
5 0 0 as 0s 睁 眼 闭 眼 81 ~103 




















两 杆 间 的 位 姿 和 矩阵， 根据 参数 表 和 D-H 公式 可 得 


co 


0 


sO01 
—c0, 


OO © © 
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a =112 
a3 =34 
a4 =34 
as =19 
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0 —1 0 a3 
0 0 0 1 
c0, 0 sO 0 1 
s0, 0 -cc0 0 
a 至 4 4 
0 1 0 Gy 
0 0 0 1 J 
cs -ss0 0 0 
5 s0 co 0 0 
0 0 1 as 
0 0 0 1 








将 各 个 连 杆 和 矩阵 连 乘 得 到 ;T 


721 7 1723 Py 


731 32 1733 PP: 


式 中 
nl = * C2 *C3 一 Cl1 水 5 米 5S3 ) 米 C4 一 31 * 84 * cs +( 一 C1 米 Co 米 S3 一 Cl * $2 * C3 ) * $s 
721 =|[ (si * C2 米 C3 一 51 * $2 米 5S3 ) 米 C4 十 Cl * 84 *cs+( 一 S1 洲 C2 洲 S3 一 31 * $2 * C3 ) * S5 


ra = (8 *C3 tC *S3) C4 kcs +( -8 *83+C *C3) * ss 


nm2 二 -[(oa 米 C2 米 C3 一 Cl 洲 S2 * 53) * C4 一 $1 * 84 | *ss+( 一 C1 洲 C2 米 S3 一 Cl * S82 * C3 ) * Cs 
722 二 -[(si 米 C2 * C3 一 31 兴 S2 米 53) 米 C4 十 Cl * 84 | *ss+( —S1 *C> * S53 一 31 * $2 * C3 ) 米 C 
六 和 二 — (Ss * C3 +C> * ss3) * C4 * Ss + ( 一 5 * 83 十 Co * Cs) * C5 


rs3 = (C1*Cy*C3 Cl*S)*83) 六 $4 十 S1 *C4 
ry = (31 * Cy 洲 C3 一 5] * 8， * 83 ) 米 S4 一 C1 米 C4 
733 = (5 * C3 十 Co 水 S3) * Sy 
ps=[ (ci*cy wc —Cws vw ) w+S1 Ca] * s+ 
(—CI*¥kC*S3—CI 8 *C3) kA +sI * Qt+cl* a 米 C) 
Pp; = 一 [ (si 六 Cy 六 C3 一 S1 六 827 闪 8S3) 闪 C4 十 C1 六 84] 六 85 十 (一 8S1 六 C2 六 83 一 51 内 3 六 C3) 六 Cs 


— (ss, * C3 + Cc * 83) * C4 * Ss + ( — $2 * 83 十 Co * C3) * Cs 


PP: 
其 中 ,=cos0,(i=1, 2, 3, 4, 5); s,=sing,(i=1, 2, 3, 4, 5) 
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于 是 可 得 眼球 作为 末端 执行 器 的 姿态 和 位 置 分 别 是 





R= 


721 72 723 











731 7T32 733 














图 2-23 机 器 人 眼 瞪 运动 仿真 图 











其 他 仿真 与 以 上 两 种 仿真 类 似 ， 至 于 其 他 运动 部 位 都 较 眼 球 和 有 眼帘 运动 简单 ， 最 多 三 个 
串联 关节 。 


2.3 身躯 设计 


2.3.1 主要 研究 问题 


目前 ， 工 业 机 器 人 普遍 应 用 于 结构 化 环境 中 的 特定 作业 ， 因 此 ， 它 主要 采用 示 教 的 方 
法 ， 国 化 控制 程序 ， 以 保证 操作 具有 较 高 的 重复 精度 ， 但 与 此 同时 操作 能 力 和 与 人 协作 能 
受到 严格 的 限制 。 情 感 机 器 人 则 要 具有 良好 的 适应 性 和 自主 性 以 满足 不 同 环境 下 的 不 同 作业 
要 求 ， 尤 其 需要 具有 与 人 安全 协作 的 能 力 ， 因 此 ， 人 情感 机 器 人 腰 臂 机 构 的 研究 尤为 重要 。 

1. 机 构 综 合 

研制 情感 机 器 人 腰 臂 机 构 的 基本 出 发 点 是 实现 与 人 类 上 肢 相似 的 操作 功能 和 工作 空间 范 
围 ， 并 能 安全 可 靠 地 与 人 类 协作 ， 最 终 使 情感 机 器 人 在 各 种 环境 中 具有 高 度 的 灵活 性 、 自 主 
性 和 适应 性 。 腰 臂 机 构 综 合 是 实现 最 终 目 标的 重要 基础 ， 合 理 的 自由 度 配 置 是 实现 情感 机 咒 
人 操作 灵活 性 以 及 适应 人 类 日 常生 活 环境 的 重要 保证 。 长 期 以 来 ， 人 们 一 直 致 力 于 机 器 人 机 
构 综 合 的 研究 ， 与 之 相应 的 运动 学 评价 标准 层出不穷 。 机 器 人 的 机 构 综合 普遍 遵循 下 列 
原则 : 

1) 具有 最 优 的 工作 空间 和 良好 的 通用 性 。 最 优 的 工作 空间 是 指 机 咒 人 对 人 类 生活 环境 
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和 不 确定 环境 的 适应 性 ， 良 好 的 通用 性 是 指 完成 多 种 工作 任务 的 可 能 性 。 

2) 能 够 很 好 地 消除 奇异 位 置 。 奇 异 位 置 分 为 工作 空间 内 部 奇异 和 工作 空间 边界 奇异 ， 
采用 元 余 自由 度 机 构 是 消除 工作 空间 内 部 奇异 位 形 的 有 效 方法 。 

3) 有 利于 避 开 障碍 物 。 安 全 避 开 工作 空间 内 部 的 障碍 物 是 保证 机 器 人 运动 灵活 性 的 重 
要 条 件 。 

4) 保证 结构 设计 合理 。 机 器 人 手臂 的 承载 与 自重 比 是 机 器 人 性 能 的 重要 评价 指标 之 
一 ， 机 器 人 手臂 关节 驱动 方式 和 驱动 装置 的 选择 对 手臂 自重 有 很 大 影响 ， 手 臂 的 自由 度 配置 
决定 着 关节 的 驱动 方式 和 驱动 装置 的 选择 。 

2. 运动 学 问题 

机 器 人 运动 学 道 解 问题 在 机 器 人 运动 学 及 控制 中 占有 重要 地 位 。 和 情感 机 器 人 上 腰 臂 机 构 作 
为 元 余 自 由 度 的 机 械 系统 ， 其 运动 学 逆 问 题 非常 复杂 ， 要 建立 通用 算法 相当 困难 。 目 前 ， 常 
用 的 元 余 机 构 逆 运动 学 求解 方法 有 Paul 提出 的 解析 法 、Fu K.S 提出 的 几何 法 、Milonkovic 
V. Huang 提出 的 近 代 法 、Dinesh Manocha 和 John. F. Canny 提出 的 符号 及 数值 方法 等 ， 其 中 ， 
迭代 法 较为 常见 ， 但 仍 存在 计算 量 大 、 计 算 结 果 不 精确 等 问题 。 情 感 机 器 人 匈 余 手臂 具有 实 
现 光滑 轨迹 、 回 避 奇 异 、 回 避 障 碍 等 优点 ， 同 时 ， 也 存在 采用 迭代 法 求 近似 道 解 的 问题 。 机 
器 人 控制 的 目的 在 于 快速 准确 ， 采 用 和 迭代 法 求 近 似 逆 解 给 情感 机 器 人 元 余 手 臂 的 实时 控制 带 
来 困难 ， 求 出 机 器 人 运动 学 逆 解 的 封闭 解 是 实现 机 器 人 实时 控制 的 重要 条 件 。P. Dahm 采用 
几何 方法 得 到 一 种 7-DOF 宛 余 手臂 的 封闭 解 ， 从 而 在 降低 计算 量 的 同时 提高 了 计算 精度 。 

3. 动力 学 问题 

机 响 人 动力 学 问题 主要 包括 机 器 人 动力 学 模型 的 建立 和 相关 实现 技术 的 研究 。 动 力学 模 
型 不 仅 可 以 用 来 计算 关节 的 驱动 力矩 ， 控 制 机 器 人 的 运动 ， 而 且 为 运动 规划 过 程 提供 了 重要 
依据 。 目 前 ， 和 常用 的 动力 学 建 模 方 法 包括 拉 格 朗 日 动力 学 方程 、 牛 顿 - 欧 拉 递 推动 力学 方程 
和 凯 恩 动 力学 方程 。 实 现 技 术 包括 情感 机 器 人 连续 稳定 行走 、 上 下 楼 梯 以 及 手臂 最 佳 姿 态 的 
实时 控制 技术 ; 识别 和 模仿 人 运动 状态 并 进行 机 器 人 运动 规划 和 轨迹 跟踪 的 技术 ; 机 器 人 自 
身 和 外 界 碰撞 监测 以 及 对 碰撞 等 干扰 的 自我 调节 技术 等 。 此 外 ， 多 传感器 的 信息 融合 技术 、 
机 器 人 控制 系统 开发 和 体系 结构 问题 都 需要 进行 更 加 深入 的 研究 。 

4. 双 展 运动 学 与 行为 研究 

情感 机 器 人 的 双 臂 协调 作业 需要 解决 运动 轨迹 规划 、 协 调控 制 算 法 、 操 作 力 或 力矩 控制 
以 及 视觉 感知 与 作业 的 交互 等 问题 。 运 动 轨迹 规划 主要 实现 双 辟 作业 中 无 碰撞 条 件 下 的 路 径 
规划 、 不 同形 位 的 传 速 性 能 以 及 协调 运动 。 操 作 力 控制 主要 研究 手臂 不 同形 位 的 力学 性 能 ， 
TsunecYoshikawa，Sukhan Lee，Yoshio Yamamoto 和 Xiaoping Yun 等 人 利用 可 操作 度 和 力 的 可 
操作 度 指标 对 双 臂 的 协调 作业 进行 了 评价 。 

近 几 年 来 ， 仿 人 双 臂 机 器 人 成 为 智能 机 器 人 领域 的 又 一 研究 热点 。1997 年 ， 吴 晖 等 研 
究 了 两 个 SCARA 机 器 人 的 避 碰 问题 ， 但 没有 考虑 到 机 器 人 上 下 臂 的 碰撞 问题 ; 1999 年 ， 钱 
东海 等 运用 动态 规划 法 对 沿 特定 路 径 运 动 的 双 臂 进行 时 间 最 优 轨迹 规划 ， 但 其 讨论 并 不 是 针 
对 严格 意义 上 的 协调 运动 ; 2001 年 ， 陈 安 军 等 针对 双 臂 机 器 人 协调 运动 ， 给 出 了 基于 最 小 
载荷 分 配 的 关节 轨迹 规划 和 基于 最 小 关节 广义 驱动 力 的 轨迹 规划 ; 2002 年 ， 陈 峰 等 运用 主 、 
从 臂 理 论 ， 提 出 了 从 臂 根 据 主 臂 规划 好 的 轨迹 ， 进 行 碰 撞 检 测 ， 然 后 采用 人 工 智 能 中 的 A- 
搜索 算法 搜索 出 从 臂 的 最 优 无 碰撞 轨迹 ，A -搜索 算法 不 断 利 用 节点 发 生 器 产生 节点 ， 并 不 






















































































断 利 用 代价 函数 选择 从 起 始点 到 目标 节点 所 要 经 过 的 最 优 节点 。 

日 本 本 田 技 研 公司 自 1986 年 开始 从 事情 感 机 器 人 的 研究 ， 主 要 解决 “自在 步行 ”控制 
和 起 立 与 坐 下 ， 招 手 致意 等 行为 。 

日 本 宝 制 造 所 公司 研制 的 “梦想 神力 01”， 通 过 手机 可 以 遥控 该 机 器 人 为 客人 黄酒 。 

上 海 交 通 大 学 设计 的 双 臂 机 器 人 可 以 进行 倒 水 、 近 螺钉、 处理 危险 品 等 日 党 行为 。 

机 械 手 避 碰 超声 传感器 是 合肥 智能 机 械 研 究 所 的 科技 成 果 。 该 成 果 是 以 双 机 械 手 协调 运 
行 避 磁 为 背景 的 多 探头 超声 测 距 防 碰 系统 ， 主 要 面向 机 器 人 控制 专题 的 双 臂 协调 安全 而 设计 
的 ， 可 实现 对 作业 中 机 械 手 周围 物体 监测 、 识 别 、 预 警 等 功能 。 

此 外 ， 哈 尔 滨 工 业 大 学 、 国 防 科 技 大 学 、 清 华 大 学 、 北 京 航空 航天 大 学 等 高 等 院 校 和 研 
究 机 构 也 在 近 几 年 投入 了 相当 的 人 力 、 物 力 ， 进 行 智 能 情感 机 器 人 的 研制 工作 。 

5. 7-DOF 仿 人 臂 控 制 系统 

随 着 机 器 人 技术 在 核 工 业 、 空 间 技术 及 科学 试验 等 特殊 领域 应 用 范围 的 不 断 拓展 ， 复 灯 
的 作业 环境 对 机 器 人 灵活 性 、 可 操作 性 等 提出 了 更 高 的 要 求 。 非 元 余 机 械 臂 在 这 方面 无 法 满 
足 要 求 ， 而 七 自由 度 仿 人 臂 和 多 自由 度 灵巧 手 可 以 在 不 确定 的 复杂 环境 中 工作 ， 如 空间 站 及 
核电 厂 维护 、 核 武器 装配 、 放 射 性 手术 治疗 等 。 美 国 国家 航空 航天 局 的 研究 机 构 具 体 分 析 了 
太空 作业 的 具体 要 求 ， 决 定 在 空间 站 上 安装 七 自由 度 仿 人 手臂 和 多 自由 度 灵 巧 手 ， 用 以 替代 航 
天 飞机 上 的 六 自由 度 机 械 臂 完成 空间 站 的 建设 及 维护 、 与 航天 飞机 之 间 交 换 货 物 等 工作 。 除 此 
之 外 ， 加 拿 大 、 德 国 以 及 日 本 等 发 达 国 家 的 航天 机 构 都 在 积极 进行 相关 技术 的 研究 与 开发 。 

目前 ， 仿 人 臂 和 多 自由 度 灵巧 手 已 经 成 为 机 器 人 学 的 一 个 研究 方向 。 仿 人 手 及 仿 人 单 臂 
(以 下 简称 仿 人 臂 ) 乃至 于 仿 人 双 辟 一 体 机 器 人 的 研究 对 于 实现 核 工业 、 空 间 站 以 及 其 他 远 
程 遥控 作业 都 有 十 分 重要 的 意义 。 

自 1983 年 以 来 ，Robotics Research Corporation 一 直 致 力 于 7-DOF 仿 人 臂 的 研究 ， 先 后 
研制 开发 了 K-1207i、K-1607i 系列 仿 人 单 臂 和 KB-2017 仿 人 双 辟 ， 其 中 仿 人 单 臂 被 NASA 
等 许多 外 国 科学 院 所 用 于 仿 人 臂 的 研究 。 这 些 仿 人 臂 控 制 系统 用 计算 机 信号 系统 、 电 子 系统 
安装 在 控制 盒 内 ， 通 过 高 性 能 柔性 电缆 与 模块 相连 。 目 前 KB-2017 仿 人 双 臂 已 应 用 于 空间 
雷达 站 、 轨 道 蔡 换 单元 以 及 遥控 表面 检查 中 。 

日 本 MITI 机 械 工程 试验 室 研究 开发 了 JARM-10、JARM-25 、JARM-100 、JART-25 系列 
的 七 自由 度 仿 人 辟 。 

1997 年 ， 日 本 早稻 田 大 学 Sugano 实验 室 开 发 了 一 种 带 有 13- DOF 灵巧 手 的 仿 人 辟 
7-DOF MIA ARM。 该 机 械 辟 采用 了 一 种 被 称 作 MIA (Mechanical Impedance Adjuster) 的 机 
械 元 件 ， 这 种 元 件 具 有 高 度 的 顺从 性 (High compliance) ， 因 此 ， 由 它 构成 的 机 械 手 可 用 在 
人 与 机 械 辟 协调 工作 的 环境 中 。 

倍 受 关注 的 是 ， 由 NASA 出 资 6 亿美 元 ， 加 拿 大 MD Robotics 等 多 家 公司 联合 研制 了 用 
于 空间 站 的 移动 式 服务 系统 ( MSS)。 该 系统 2001 年 正式 起 用 ， 主 要 用 于 空间 站 的 建设 及 维 
护 、 与 航天 飞机 之 间 的 交换 货物 等 工作 。 该 系统 由 专用 灵巧 手 (SPDM ) ,移动 基础 系统 
(MBS) 及 空间 站 遥控 操作 臂 系 统 (SSRMS) 三 部 分 组 成 。 其 中 SSRMS 为 7-DOF 仿 人 辟 
(Canadarm2 ) ， 与 1981 年 投入 使 用 的 6-DOF 机 械 臂 (Canadarm) 相 比 ，Canadarm2 的 体积 
更 大 、 智 能 程度 更 高 。 它 能 够 完成 Canadarm 无 法 完成 的 工作 ， 实 现 像 蛇 一 样 运动 到 空间 站 
的 任意 部 位 。 
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此 外 ，Schilling Development Incorporate 等 多 家 公司 ， 针 对 极限 作业 下 的 远程 遥控 系统 研 
制 出 一 种 七 自由 度 仿 人 臂 。 该 仿 人 臂 的 控制 系统 设计 具有 相当 的 开放 性 。 在 仿 人 壁 的 研制 方 
面 ， 美国 、 日 本 和 加 拿 大 走 在 前 列 ， 英 国 、 瑞 典 、 挪 威 、 澳 大 利 亚 等 国家 也 都 在 开展 这 项 技 
术 的 研究 ， 我 国 关 于 宛 余 度 机 械 臂 技术 的 研究 起 步 较 晚 。1993 年 ， 北 京 航空 航天 大 学 研制 
了 BUAA-RR 型 7-DOF 仿 人 臂 样机 。1996 年 哈尔滨 工业 大 学 与 674 厂 联 合 研制 了 用 于 自行 
火炮 弹丸 自动 装填 作业 的 155HP-1 机 械 臂 ， 它 是 七 个 自由 度 (其 中 一 个 为 移动 关节 ) 机 械 
辟 ， 并 带 有 三 个 自由 度 机 械 手 ， 可 在 较 小 的 装填 作业 空间 里 进行 作业 。 

6. 外 观 与 结构 优化 

随 着 科学 技术 的 发 展 ， 新 能 源 、 新 材料 不 断 涌现 ， 减 小 尺寸 、 减 轻重 量 及 外 观 拟人 化 成 
为 仿 人 机 器 人 设计 的 重要 课题 。 作 为 一 个 多 关节 多 自由 度 的 复杂 系统 ， 在 实现 预期 功能 的 前 
提 下 ， 机 器 人 必须 有 一 个 结构 紧凑 、 配 置 合理 的 机 械 本 体 。 本 田 公司 的 P2 机 器 人 身高 
1820mm， 体 重 210kg，P3 机 器 人 的 身高 1600mm， 体 重 130kg， 而 ASIMO 的 身高 仅 为 
1200mm， 体 重 降 至 45kg。 机 器 人 主要 包括 电源 系统 、 传 动 系统 、 传 感 系统 及 控制 系统 四 部 
分 。 为 了 便于 机 器 人 的 大 范围 作业 ， 电 源 系 统 通常 采用 自身 携带 直流 电池 方式 ， 由 于 电源 占 
机 器 人 自重 的 很 大 部 分 ， 根 据 调 节 机 器 人 重心 和 优化 结构 的 需要 ， 和 党 把 电池 置 于 机 器 人 胸部 
或 移动 车 体内 。 传 感 系 统 包括 关节 传感器 、 姿 态 传感器 和 力 传感器 ， 其 中 ， 行 程 开关 和 光电 
编码 吉 组 成 关节 传感器 检测 关节 转角 ， 实 现 关节 的 位 置 与 速度 控制 。 倾 角 仪 具有 体积 小 、 重 
量 轻 的 特点 ， 作 为 姿态 传感器 进行 姿态 平衡 控制 ， 通 常 倾 角 仪 置 于 机 器 人 重心 附近 比较 便于 
控制 。 加 速度 传感器 和 腕 部 六 维 力 传感器 用 于 检测 关节 受 力 情况 。 情 感 机 器 人 外 观 和 结构 的 
优化 无 疑 对 它 的 商品 化 以 及 服务 于 人 类 日 常生 活 具 有 重要 意义 。 


2.3.2 ” 腰 名 机 构 的 设计 


腰部 运动 主要 有 两 个 自由 度 : 弯 腰 和 转 腰 ， 弯 腰 的 运动 范围 大 约 是 0" ~ 30" ， 转 腰 的 运 
动 范围 大 约 是 上 45"， 腰 部 自由 度 的 实现 都 是 由 直流 电动 机 驱动 。 腰 部 零件 主要 有 轴承 座 、 
轴承 、 轴 、 支 架 和 板 组 成 ， 材 质 主要 选用 Q235 或 45 号 钢 。 腰 部 的 实物 如 图 2-24 所 示 。 
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b) c) 


图 2-24 腰部 的 实物 机 械 结构 
a) 腰部 正面 b) 腰部 侧面 ce) 腰部 背 儿 
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1. 弯 腰 、 转 腰 机 构 的 设计 实现 

弯 腰 机 构 由 一 个 直流 电动 机 驱动 ， 由 于 该 直流 电机 的 额定 扭矩 是 2N. m， 而 根据 计算 
整个 机 器 人 要 完成 0* ~30° 的 弯 腰 动作 需要 的 扭矩 约 为 7N. m， 因 此 采用 了 1:4 的 齿轮 减速 
装置 来 增 大 扭矩 。 轴 承 的 选用 是 为 了 减 小 摩擦 力 和 保证 精度 。 在 0" 和 30? 两 个 位 置 由 两 个 传 
感 器 限制 弯 腰 的 幅度 ， 这 是 从 电路 方面 做 的 限 位 ， 但 是 考虑 如 果 电 路 上 出 现 问题 ， 有 可 能 对 
机 械 结构 造成 破坏 ， 因 此 还 有 两 个 机 械 限 位 零件 来 防止 腰部 转 过 0° ~30°。 

转 腰 机 构 也 是 由 一 个 直流 电动 机 了 驱动， 轴承 的 选用 减 小 了 摩擦 力 ， 即 使 再 考虑 转动 惯 
量 ， 也 不 需要 减速 即 可 驱动 整个 上 身 的 转动 。 转 动 的 范围 在 +45°*， 通 过 安装 在 底板 上 的 传 
感 器 来 控制 转动 的 位 置 。 同 样 ， 为 防止 电动 机 转 过 对 机 械 结构 的 破坏 ， 也 采取 了 机 械 限 位 ， 
在 +45° 处 安装 了 两 个 限 位 零件 。 

2. 人 体 手臂 的 运动 特征 

研究 情感 机 器 人 手臂 首先 需要 了 解 人 体 手臂 的 机 
构 特 征 。 人 体 的 手臂 由 肩 关节 、 大 臂 、 肘 关节 、 小 
臂 、 腕 关节 、 手 等 儿 部 分 组 成 。 如 图 2-25 所 示 ， 手 
臂 的 运动 是 靠 肩 关节 、 肘 关节 和 腕 关节 的 活动 以 及 肌 
肉 的 牵引 运动 共同 完成 的 。 对 于 人 体 手臂 的 机 构 学 特 
征 ， 在 仿生 学 研究 中 存在 两 种 观点 : 

1) 美国 的 Mark E. Rosheim 将 人 类 手臂 归结 为 : 

肩 关 节 是 球 窒 关节 (Ball-and- Socket Joint ) ， 具 有 三 
个 转动 自由 度 ， 能 实现 屈伸 、 外 展 内 收 、 旋 转 
(Pitch- Yaw- Roll) 等 运动 ， 其 运动 参数 是 : 前 驱 90°、 妈 2-25 ”人 体 手臂 关节 构成 简 区 
后 伸 35°; 外 展 90°*、 内 收 45°; 内 旋 45°、 外 旋 45°; 
肘 关 节 属 于 单 轴 关节 ， 具 有 一 个 自由 度 ， 能 实现 屈伸 运动 ， 屈 伸 幅 度 为 133"， 其 抗 拉 伸 能 
力 为 85 ~230kg; 脐 关 节 由 搁 腕 关节 和 腕 骨 关 节 组 成 ， 这 两 个 关节 在 结构 上 彼此 独立 但 在 运 
动 中 紧密 相连 ， 因 此 被 视 为 一 个 关节 ， 具 有 三 自由 度 ， 手 腊 在 Roll- Pitch- Roll 和 Pitch- Yaw- 
Roll 两 种 机 构 运 动 模型 ， 能 实现 屈伸 、 外 展 内 收 和 旋转 等 运动 ， 届 和 伸 幅 度 各 为 83" ， 外 展 
90°、 内 收 45°*， 内 旋 45°*、 外 旋 45°。 

2) 日 本 的 远 芯 博 史 和 田 充 雄 博士 则 认为 人 体 7 自由 度 手臂 是 由 3 自由 度 肩 关 节 ，2 自 
由 度 肘 关节 和 2 自由 度 腕 关节 组 成 。 当 然 ， 除了 上 述 基本 自由 度 外 ， 由 于 肌肉 的 率 引 作用 ， 
人 的 手臂 具有 更 多 的 自由 度 ， 因 此 具有 高 度 的 运动 灵活 性 。 根 据 中 国人 体 测量 值 的 有 关 资 料 
表明 ， 人 体 手臂 的 几何 尺寸 构成 是 






















































































上 上肢: 身高 ~0. 452: 1 
大 辟 : 小 辟 : 手掌 二 1. 42: 1. 2: 0. 38 
从 机 构 学 原理 上 分 析 ， 人 体 手臂 是 一 个 典型 的 串联 机 构 和 并 联机 构 的 结合 体 ， 其 中 连接 
肩 关节 由 六 组 肌肉 构成 ， 其 中 四 组 是 基本 驱动 ， 构 成 一 个 驱动 器 宛 余 的 三 自由 度 并 联机 构 ， 
驱动 肩 关 节 的 三 个 方向 转动 ; 腕 关节 的 驱动 肌肉 为 前 臂 肌 的 前 群 和 后 群 ， 均 起 于 挠 骨 和 尺骨 
构成 并 联机 构 ， 实 现 胸部 的 三 自由 度 运动 ; 而 肘 关节 和 肩 关 节 、 腕 关节 一 起 构成 串联 机 构 形 
式 的 人 体 手臂 ; 因此 ， 人 体 手 臂 既 有 较 大 的 工作 空间 (串联 机 构 的 优点 ) 又 具有 较 高 的 结 
构 刚 度 (并 联机 构 的 优点 ) 。 人 体 手臂 的 特殊 结构 使 手臂 在 运动 中 具有 和 良好 的 动态 性 能 。 运 
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动 中 手臂 的 刚度 较 小 ， 当 人 体感 觉 到 外 界 的 干扰 时 ， 可 以 会 迅速 调整 手臂 的 运动 学 、 动 力学 
状态 ,使 操作 顺利 进行 ; 而 持 重 时 手臂 的 刚度 较 
大 ， 以 保持 稳定 的 状态 。 

3. 手臂 机 构 的 设计 实现 

本 例 中 的 手臂 按照 人 体 的 比例 和 自由 度 配置 
进行 设计 ， 共 有 10 个 自由 度 ， 每 只 手臂 各 有 5 个 
自由 度 , 分 别 是 : 肩 部 向 前 抬 手 辟 ( 舵 机 1 驱 
动 )、 大 臂 转 动 ( 舵 机 2 驱动 ) 、 肩 部 侧 向 抬 手 臂 
(能 机 3 驱动 )、 肘 部 弯曲 ( 舵 机 4 驱动 )、 小 辟 | 
转动 〈 舵 机 5 驱动 ) 。 手 臂 的 三 维 图 如 图 2-26 所 | 
示 。 手臂 共 由 10 个 舵 机 驱动 ,能 机 全 部 选用 
HG14- M， 舵 机 的 扭矩 为 14kg* cm， 经 计算 满足 
手臂 运动 到 各 个 位 置 的 最 大 扭矩 。 考 虑 减轻 手臂 
的 重量 ， 和 零件 所 选材 料 均 为 硬 铝 。 


2.4 手臂 设计 


机 器 人 的 轨迹 泛 指 工业 机 器 人 在 运动 过 程 中 的 运动 轨迹 ， 即 运动 点 的 位 移 、 速 度 和 加 速 
度 。 机 器 人 手臂 在 作业 空间 要 完成 给 定 的 任务 ,手臂 运动 必须 按 一 定 的 轨迹 进行 ， 轨 迹 的 生 
成 一 般 是 先 给 定 轨 迹 上 的 寿 干 个 点 ， 将 其 经 运动 学 反 解 映射 到 关节 空间 ， 对 关节 空间 中 的 相 
应 点 建立 运动 学 方程 ， 然 后 按 这 些 运动 方程 对 关节 进行 插值 ， 这 个 过 程 称 为 轨迹 规划 。 运 动 
轨迹 是 机 器 人 系统 工作 的 依据 ， 它 决定 了 系统 的 工作 方式 和 效率 ， 机 器 人 系统 要 完成 某 种 操 
作 作 业 ， 就 必须 对 其 运动 轨迹 进行 规划 ， 因 此 研究 机 器 人 系统 运动 轨迹 的 规划 尤为 重要 。 

对 情感 机 器 人 的 手臂 进行 轨迹 规划 ， 需 要 了 解 它 在 起 始点 和 目标 点 的 状态 ， 即 坐标 系 的 
起 始 值 和 目标 值 。 在 此 ， 用 “点 ”这 个 词 表 示 坐 标 系 的 位 置 和 姿态 〈 简 称 位 姿 ) 。 对 于 另外 
一 些 比较 复杂 的 姿态 ， 如 敬礼 、 传 递 物品 、 手 臂 跨 过 障 但 物 等 ， 不 仅 要 规定 机 械 手 的 起 始点 
和 终止 点 ， 而 且 要 指明 两 点 之 间 的 若干 中 间 点 〈 称 路 径 点 ) 。 必 须 确保 机 器 人 手臂 沿 特 定 的 
路 径 运 动 (路径 约束 )。 

本 节 研 究 的 主要 内 容 是 机 器 人 实现 人 类 的 各 种 姿态 和 动作 ， 在 此 我 们 以 情感 机 器 人 的 手 
辟 避 障 为 例 进行 分 析 、 人 研究 及 仿真 。 图 2-27 为 情感 机 器 人 跨越 障碍 物 的 运动 轨迹 模型 图 。 


2.4.1 碰撞 分 析 的 简化 


情感 机 器 人 手臂 在 运动 过 程 中 必然 要 与 周围 环境 以 及 工作 对 象 发 生 联系 ， 由 于 系统 中 环 
境 对 工作 对 象 的 约束 ， 使 手臂 在 空间 运动 过 程 中 会 与 其 他 物体 或 自身 相互 发 生 碰 撞 。 因 此 在 
轨迹 规划 时 ， 必 须 考虑 环境 对 机 器 人 的 影响 ， 从 而 规划 出 一 条 不 发 生 碰撞 的 工作 轨迹 。 本 章 
基于 运动 学 首 解 建立 的 基础 上 ， 对 双 辟 避 障 问题 进行 了 分 析 研 究 ， 引 入 了 检验 可 能 相 碰 的 条 
件 ， 建立 了 碰撞 干涉 判别 模型 。 为 建立 该 模型 ， 将 手臂 的 各 个 关节 简化 为 连 杆 ， 同 样 ， 对 于 
环境 中 的 障碍 物 也 要 进行 简化 处 理 。 

现 规定 : 左右 辟 参 量 分 别 用 1,，r 表示 ， 肩 关节 坐标 为 $， 小 臂 关节 坐标 为 到 ， 肘 关节 坐 




















到 2-26 手臂 的 三 维 图 
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图 2-27 人 情感 机 器 人 手臂 避 障 的 运动 轨迹 
a) 手臂 的 初始 位 置 b) 手臂 的 避 障 位 置 c) 手臂 跨 过 障碍 物 的 位 置 








标 为 E; 公共 坐标 系 、 左 、 右 臂 坐 标 系 分 别 为 O0-X7Z，3S -看 刀 0， -和 忒 忆 0， 双 辟 距离 
0.2m。 以 此 为 依据 建立 如 图 2-28 所 示 的 双 臂 机构 。 
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图 2-28” 双 臂 机 构 简 图 
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2.4.2 双 臀 础 撞 模 型 


把 在 左右 辟 上 的 任意 两 臂 杆 简化 为 空间 相 错 的 两 线段 疡 疡 有 玉 Ri ， 如 图 2-29 所 示 ， 
设 此 两 杆 在 公共 坐标 系 中 的 方向 数 分 别 为 (zm,， 训 4) 、(m，n,，4)， 则 可 得 两 线段 的 最 
短 距 离 d 为 
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d= 7 和 (2-1) 
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图 2-29 双 臂 杆 的 空间 相 错 线段 避 碰 模型 











其 中 ，(w%i， 有) 为 端点 上 或 上 ,在 公共 坐标 系 中 的 坐标 。(x,，y,，z) 为 端点 RR 或 
Ri, 在 公共 坐标 系 中 的 坐标 。 给 出 不 碰 的 距离 为 6， 则 不 碰 条 件 为 4 >65。 但 按 此 条 件 控 制 不 
碰 会 导致 条 件 过 于 奇 刻 甚至 无 法 满足 。 相 碰 只 可 能 发 生 在 图 2-29 中 的 第 一 种 情况 。 因 此 检 
验 可 能 相 碰 的 条 件 为 





(CL|+ loLn /LL =1 
(CR + |CRi 1)/ RR |=1 
由 图 2-29 所 示 机 构 可 知 ， 可 能 发 生 相 碰 的 杆 件 组 为 大 、 小 臂 杆 臂 的 组 合 ， 有 四 组 : 
SE- SE, EW -EW SE -EW FW- 设 各 杆 件 组 合 下 保证 不 碰 的 最 小 距离 分 
别 为 61/、6,、63、64。 


2.4.3 ”算法 的 流程 图 


根据 碰撞 模型 及 情感 机 絮 人 手臂 的 运动 学 逆 解 可 以 得 到 双 臂 避 障 算法 的 流程 图 ， 如 图 
2-30 所 示 。 


2.4.4 手臂 避 障 仿真 


双 臂 间 协 调 避 障 是 机 器 人 研究 的 一 个 热点 ， 本 节 基 于 前 几 节 双 臂 避 障 模型 及 理论 的 基础 
上 ， 以 五 自由 度 情 感 机 器 人 的 双 臂 为 例 ， 使 机 器 人 双 臂 进行 交叉 和 运动。 本文 规定 双 臂 的 右 臂 
为 主 臂 ， 左 臂 为 从 臂 ， 主 臂 具 有 较 高 的 运动 优先 权 。 给 定 机 器 人 的 左右 臂 各 自 起 点 、 目 标 
点 ， 规 划 出 机 器 人 双 臂 避 障 运动 轨迹 。 避 障 算法 首先 判断 主 臂 和 从 臂 在 各 自 进行 作业 时 是 否 
发 生 碰 撞 ， 若 发 生 碰 撞 ， 则 使 具有 优先 运动 规划 权 的 主 臂 先 完成 规划 动作 ， 然 后 从 臂 把 主 臂 
作为 障碍 物 处 理 ， 并 规划 出 一 条 无 碰撞 的 轨迹 。 对 机 器 人 双 臂 未 采用 避 障 算法 和 采用 避 障 算 
法 分 别 进行 仿真 ， 通 过 仿真 比较 验证 避 障 算法 的 可 行 性 。 


(2-2) 
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输入 左右 臂 末 端 初始 位 姿 拒 阵 、 速 度 
矢量 、 运 行 时 间 : 和 时 间 间 隔 At 





求 得 未 考虑 避 碰 的 0;.1 


给 定 各 杆 件 组 合 保证 不 磁 的 最 小 距离 1、56，、53、64 








求 得 左右 臂 S、E、 玫 三 点 在 基 坐 标 系 中 的 坐标 值 以 及 各 壁 杆 


的 方向 矢量 ， 由 此 可 得 到 左右 臂 各 线段 间 的 最 短 距离 4 





用 式 (2-2) 找 出 可 能 相 磁 的 辟 杆 组 合 ， 并 计算 4-6 得 到 最 小 值 


发 生 碰 描 ，4=(d-di+1)/At 不 发 生 碰撞 ， 输 出 未 考虑 碰撞 
输出 修正 解 的 逆 运 动 学 解 































图 2-30 双 臂 避 障 算法 的 流程 图 





在 手臂 运动 学 研究 的 基础 上 ， 以 五 自由 度 手 臂 〈 双 臂 共 十 个 自由 度 ) 为 例 进行 仿真 。 
以 图 2-28 所 示 和 坐标 系 及 图 2-31 所 示 起 始点 及 目标 点 进行 计算 ， 右 臂 起 始点 4 ( -376, 0， 
-125) 到 目标 点 4 (-270，100，25); 左 辟 起 始点 B，( -376, 0,，125) 到 目标 点 B。 
(=-270,，100，-25)。 由 此 可 得 4 、4,、B,、B, 的 位 姿 矩 阵 为 








1 0 0 -376 1 0 0 -376 

0 10 0 0 10 0 
Th = Th = 

0 0 1 -125 0 0 1 125 

000 1 000 1 

-0.320 -0.908 0.269 -270 -0.570 -0.682 0.458 -270 
-0.089 -0.254 0.963 100 a 0 -0.557 0.830 100 
~ | 0.943 0.332 0 125 2 | 0.821 0.474 0.318 -125 





0 0 0 1 0 0 0 1 
右 臂 是 主 臂 ， 具 有 较 高 运动 优先 权 ， 故 而 从 4, 运动 到 4, 不 需 采 用 避 障 算法 ， 而 左 辟 是 
从 臂 ， 由 肠 运动 到 B,， 关 节 角 速度 不 大 于 +90%/s， 仿真 时 间 为 5s， 采样 时 间 为 0. 5s。 
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图 2-31 轨迹 规划 的 起 始点 及 目标 点 


a) 起 始点 b) 目标 点 





计算 出 大 臂 在 公共 坐标 系 中 的 方向 数 为 

右 大 臂 ( -0.963，0，0.269) ; 左 大 臂 ( -0.963，0，0. 269 ) ; 

右 小 臂 ( -0.478，-0.496,，0. 134) ; 左 小 臂 ( -0.478，0.867，0. 134 ) 。 

按照 式 (2-1) 进行 计算 可 知 ， 大 臂 杆 不 会 相 磁 而 小 臂 杆 已 经 碰撞 ， 现 在 已 找 出 相 磁 杆 
组 合 ， 然 后 进行 输出 修正 。 

根据 避 障 算法 的 流程 将 修正 解 返 回 计 算 ， 由 于 右 臂 是 主 臂 ， 只 计算 左 小 臂 的 方向 数 为 
(=-0.963，0，0. 269) ， 双 小 臂 不 碰 的 最 小 距离 5=0.3m， 经 修正 计算 后 的 小 臂 杆 直接 最 短 
距离 满足 4=0.455 >6， 因 此 不 发 生 碰 撞 ， 输 出 碰撞 的 运动 学 道 解 。 将 所 求解 应 用 Origin7 
软件 仿真 可 以 得 出 关节 角度 的 变化 曲线 。 

Origin7 具有 两 大 类 功能 : 数据 分 析 和 绘图 。 数 据 分 析 包 括 数据 的 排序 、 调 整 、 计 算 、 
统计 、 频 谱 变换 、 曲 线 拟 合 等 各 种 完善 的 数学 分 析 功 能 。 准 备 好 数据 后 ， 进 行 数据 分 析 时 ， 
只 需 选 择 所 要 分 析 的 数据 ， 然 后 再 选择 响应 的 菜单 命令 就 可 以 完成 其 数学 分 析 过 程 。Origin 
的 绘图 是 基于 模板 的 ，Origin 本 身 提供 了 儿 十 种 二 维 或 三 维 绘图 模板 而 且 人 允许 用 户 自己 定制 
模板 。 绘 图 时 ， 只 要 选择 所 需要 的 模板 便 可 以 。 用 户 可 以 自 定义 数学 函数 、 图 形 样式 和 绘图 
模板 ; 可 以 和 各 种 数据 库 软 件 、 办 公 软 件 、 图 像 处 理 软件 等 方便 地 连接 ; 可 以 运用 C 等 高 
级 语言 编写 数据 分 析 程 序 ， 还 可 以 使 用 内 置 的 Lab Talk 语言 编程 等 。 

通过 Origin7 绘图 是 将 复杂 的 计算 数据 以 图 线 的 绘图 形式 展现 出 来 ， 有 利于 我 们 对 避 障 
算法 进行 分 析 与 研究 。 我 们 先 将 运动 学 逆 解 数据 导入 该 软件 ， 然 后 通过 软件 输出 我 们 所 需要 
的 输入 、 输 出 图 线 。Origin7 软件 界面 如 图 2-32 所 示 。 

为 了 求 得 在 关节 空间 中 形成 的 轨迹 ， 我 们 首先 用 运动 学 反 解 将 路 径 点 转换 成 关节 矢量 角度 
值 ， 然 后 对 每 个 关节 拟 合 一 个 光滑 函数 ， 在 满足 所 要 求 的 约束 条 件 下 ， 可 以 选取 不 同类 型 的 关 
节 搬 值 函 数 ， 以 生成 不 同 的 轨迹 。 常 用 的 搬 补 算法 有 线性 插 补 、 分 段 插 补 及 多 项 式 搬 补 等 。 

线性 插 补 会 使 线性 插值 关节 在 起 点 和 终点 的 速度 和 加 速度 不 连续 ， 和 运动 不平 稳 ， 且 加 速 
度 无 穷 大 ， 显 然 在 两 端 会 造成 刚性 冲击 。 抛 物 线 分 段 揪 补 可 以 保证 起 点 和 终点 的 速度 平稳 过 
渡 ， 从 而 使 整个 轨迹 上 的 位 置 和 速度 连续 ， 但 又 出 现 了 起 点 和 终点 加 速度 不 连续 的 情况 。 因 
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图 2-32 Origin7 软件 界面 
此 ， 必 须 建立 一 个 五 次 多 项 式 (2-3) 进行 插值 即 可 以 实现 系统 的 平稳 运动 。 


0,=a0 tat+tot +ast +at +ast’ (2-3) 

如 果 未 采用 避 障 算法 ， 则 右 辟 和 左 臂 都 将 按照 起 始点 到 目标 点 的 运动 轨迹 进行 ， 那么 
左 、 右 臂 同时 到 达 目 标点 位 置 后 就 会 产生 左 、 右 臂 小 臂 杆 相 碰 撞 的 情况 ， 左 、 右 辟 末 端 位 置 
姿态 构 型 如 图 2-33a 所 示 。 计 算出 左 辟 的 关节 角度 变化 曲线 如 图 2-34a 所 示 。 

如 果 采 用 避 障 算法 时 ， 右 臂 是 主 臂 ， 右 臂 从 起 始点 运动 到 目标 点 仍然 按照 预定 的 运动 轨 
迹 进 行 ， 而 左 小 臂 是 从 臂 ， 则 会 绕 开 右 小 臂 到 达 目 标点 位 置 ， 左 、 右 臂 末 端 位 置 姿 态 构 型 如 
2-33b 所 示 。 计 算出 的 左 辟 的 关节 角度 变化 曲线 如 2-34b 所 示 ， 经 比较 可 知 避 障 后 的 左 臂 关 
节 1、3、4 会 与 未 避 障 时 的 关节 角度 有 明显 改变 。 














a) 
图 2-33 末端 姿态 构 型 仿真 结果 
a) 未 采用 避 障 算法 得 到 的 仿真 结 
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b) 








图 2-33 末端 姿态 构 型 仿真 结果 ( 续 ) 
b) 采用 避 障 算法 得 到 的 仿真 结 
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2.4.5 优点 及 发 展 趋势 joint3 


100 上 joint4 
关于 机 器 人 手臂 避 障 运动 轨迹 

规划 的 研究 开展 已 有 十 几 年 的 时 间 ， 

其 间 国 内 外 学 者 进行 了 大 量 的 研究 ， 

开发 的 方法 主要 有 C 空间 法 、 人 工 40 | 

势力 场 法 等 基础 性 研究 ， 他 们 主要 








80 Tr 





60 上 
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是 针对 单 辟 机 器 人 和 静态 障碍 物 的 
情形 。 wl 

随 着 工业 、 科 研 的 发 展 ， 作 业 0 : . - 
任务 的 复杂 性 和 智能 性 不 断 提 高 ， 时 间 / 
单 辟 机 器 人 已 经 不 能 满足 人 们 的 需 1%. . 
要 ,许多 实际 工作 ,往往 需要 用 双 jn 
辟 机 器 人 相互 协调 、 相 互 配 合 去 完 
成 。 利 用 双 臂 机 器 人 协调 作业 的 场 。 80 | 四 
合 很 多 ， 如 搬运 、 传 输 、 装 配 等 复 乙 @ es 
杂工 作 。 但 双 臂 机 器 人 不 是 简单 地 -a 上 
把 两 个 单 臂 机 器 人 组 合 在 一 起 ， 而 > jointl 
是 作为 一 个 独立 的 机 器 人 系统 , 双 ”201 人 
臂 之 间 存在 着 很 深 的 协调 关系 , 一 | 7 人 
个 辟 的 任何 运动 都 会 影响 到 另外 一 ， 上- 
个 臂 ， 所 以 在 做 双 臂 机 器 人 的 工作 0 1 2 3 4 5 
空间 分 析 、 轨 迹 规划 、 运 动 控 制 等 ee 
时 ， 必 须 把 双 辟 统筹 起 来 一 起 考虑 。 RR 

机 器 人 双 避 名 障 运 动 规划 通常 ee 





























分 路 径 规划 和 轨迹 规划 两 级 来 进行 。 b) 采用 如 障 惫 法 得 到 的 关节 角度 变化 曲线 
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双 臂 在 做 无 碰撞 路 径 规划 时 ， 为 简化 算法 ,通常 只 考虑 工作 空间 中 的 几何 信息 ， 并 假定 各 关 
节 具 有 无 穷 大 的 加 速度 ， 各 关节 只 具有 零 和 极限 值 两 种 速度 状态 ， 而 这 在 机 融 人 控制 中 通常 
难以 实现 ， 故 路 径 规 划 后 ， 需 进行 轨迹 规划 。 

我 们 所 制作 的 机 器 人 是 情感 机 器 人 ， 目 的 是 为 模拟 情感 类 的 各 种 动作 、 姿 态 ， 如 敬礼 、 
指示 、 手 臂 挥 动 、 传 递 物品 等 。 因 此 ， 在 针对 机 器 人 的 双 臂 避 障 上 无 需 按 照 传 统 的 双 臂 避 障 
控制 方式 。 在 对 双 臂 机 器 人 的 避 障 协调 控制 上 ， 我 们 提出 了 主 从 臂 控 制 方法 ， 即 从 辟 根 据 主 
臂 的 位 置 、 速 度 和 力 信息 ， 规 划 和 调整 自己 的 运动 。 相 比 非 主 从 手臂 控制 规划 更 为 简单 、 精 
确 ， 运 算 起 来 更 为 快捷 ， 而 且 能 完全 满足 人 类 的 各 种 姿态 动作 。 

根据 目前 国内 外 机 絮 人 手臂 研究 发 展 趋势 ， 今 后 所 要 解决 的 主要 问题 主要 包括 单 辟 机 带 
人 如 何 回避 动态 障碍 物 ， 双 臂 机 器 人 如 何 采 用 局 部 优化 和 全 局 优化 相 结合 的 方法 来 协调 避 磁 
等 。 此 外 ， 利 用 神经 网 络 进行 轨迹 规划 也 是 目前 机 器 人 手臂 轨迹 规划 的 一 个 重要 方向 ， 由 于 
神经 网 络 是 非 线 性 映射 ， 具有 能 够 通过 学 习 进 行 训练 以 及 自 适应 的 特点 ， 使 其 在 机 器 人 的 轨 
迹 规划 问题 上 做 到 具有 简化 计算 、 快 速算 法 、 高 精度 逼近 等 特点 。 
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第 3 革 表情 控制 模式 


人 类 的 表情 分 为 自然 语言 和 形体 语言 两 类 。 面 部 表情 是 形体 语言 的 一 部 分 ， 既 是 人 们 交 
往 的 一 种 手段 ， 也 是 情绪 表达 的 一 种 方式 。 在 人 类 交往 过 程 中 ， 言 语 与 表情 经 党 是 相互 配合 
的 。 相 关 研 究 证 明 ， 表 情 比 言语 更 能 显示 情绪 的 真实 性 。 有 时 人 们 能 够 运用 言语 来 掩饰 或 否 
定 其 情绪 体验 ， 而 表情 却 往 往 掩饰 不 住 内心 的 体验 。 情 绪 作 为 一 种 内 心 体验 ， 一旦 产生 ,， 通 
常会 伴随 相应 的 非 言语 行为 ， 如 面部 表情 和 身体 姿势 等 。 心 理学 家 研究 发 现 ， 在 人 类 进行 会 
话 交 流传 递 信息 时 ， 依 靠 说 话 人 的 表情 所 得 到 的 信息 要 比 从 说 话 内 容 和 语调 中 所 得 到 的 信息 
比重 要 大 很 多 ， 由 此 可 见 ， 表 情 在 人 类 交往 活动 中 起 到 了 重要 的 作用 。 同 样 ， 在 人 类 与 机 器 
人 交互 过 程 中 ， 也 需要 从 机 器 人 的 面部 表情 得 到 信息 ， 因 此 研究 情感 机 器 人 就 必须 人 研究 机 器 
人 的 面部 表情 控制 模式 。 

在 第 2 章 中 我 们 提 到 过 ， 如 果 想 要 机 器 人 产生 类 人 的 表情 ， 一 般 有 两 个 方向 ， 我 们 通常 
采用 第 一 个 方向 ， 即 面部 动作 编码 系统 (Facial Action Coding System，FACS) 。 图 3-1 所 示 
为 采用 FACS 对 情感 机 器 人 操作 ， 使 之 表现 出 愤怒 、 大 恶 、 和 届 、 高 兴 、 莫 伤 和 惊奇 的 六 大 
表情 的 截图 ， 具 体 的 实现 方案 在 本 章 进 行 详细 讲解 。 

















悲伤 
图 3-1 采用 FACS 操作 的 六 种 基本 表情 


3.1 面部 动作 编码 系统 


3.1.1 概述 
从 20 世纪 70 年 代 初 开始 ， 涌 现 了 大 量 关 于 面部 表情 和 面部 动作 编码 系统 的 研究 ， 其 中 
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美国 心理 学 家 艾 克 曼 在 20 世纪 70 年 代 末 先后 创立 了 “面部 表情 编码 技术 (FAST) ”和 
“面部 动作 编码 系统 (FACS)”。FACS 是 迄今 为 止 最 为 详尽 、 最 为 精细 的 面部 运动 测量 技 
术 ， 它 能 够 测量 和 记录 所 有 可 观察 到 的 面部 行为 ， 很 多 方法 都 是 以 此 为 基础 进行 的 。 

FACS 对 人 脸 肌 肉 各 部 分 动作 进行 了 完整 的 描述 。FACS 包含 46 个 基本 动作 单元 (Action 
Unit，AU) ， 通 过 结合 各 个 独立 的 动作 单元 可 以 产生 大 量 不 同 的 脸 部 表情 。 例 如 ， 结 合 AU12 + 
AU13 ( 拉 嘴 角 ) 、AU25 + AU27 ( 张 开 嘴 )、AU10 (生气 嘴唇 ) 和 AUI1 ( 鼻 层 裙 加 深 ) 产 
生 了 一 个 幸福 的 表情 。 这 个 系统 已 经 被 作为 许多 表情 产生 方法 的 基础 ， 特 别 是 在 使 用 肌肉 模 
型 或 者 仿真 肌肉 的 动画 方法 中 。 

FACS 是 通过 自动 分 析 面 部 活动 来 描述 面部 动作 的 一 种 新 方法 。 它 源 于 对 面部 运动 的 解 
剖 分 析 : 既然 每 一 种 面部 运动 都 是 肌肉 活动 的 结果 ， 那 么 如 果 知 道 每 个 面部 动作 对 应 的 肌肉 
运动 方式 ， 自 然 就 可 以 获得 一 个 全 面 的 面部 运动 描述 系统 。 利 用 这 个 理论 ， 我 们 也 可 以 使 机 
器 人 模仿 人 类 在 各 种 情绪 状态 下 的 表情 。 


3.1.2 主要 内 容 


在 艾 克 曼 等 人 提出 的 面部 编码 系统 (FACS) 中 ,采用 了 46 个 能 够 独立 运动 的 表情 动作 
单元 。FACS 把 脸 部 运动 分 解 为 肌肉 动作 单元 来 描述 面部 动作 ， 我 们 把 肌肉 动作 单元 称 之 为 
AU， 这 些 单元 与 使 面部 表情 改变 的 肌肉 结构 紧密 相连 ， 在 这 个 系统 中 还 定义 了 六 种 最 基本 
的 表情 : 惊奇 、 恕 惧 、 厌 恶 、 愤 和 低 、 高 兴 、 悲 伤 以 及 33 种 不 同 的 表情 倾向 ， 实 验 表明 ， 具 
有 这 六 种 表情 的 人 脸 特 征 与 无 表情 的 人 脸 特 征 相 比 有 相对 独特 的 肌肉 运动 规律 。 此 后 的 大 多 
数 研 究 都 是 在 FACS 基础 上 构建 人 脸 表 情 模 型 ， 所 以 说 这 一 系统 的 提出 具有 里 程 碑 的 意义 。 

在 FACS 中 ， 每 一 个 单一 的 AU 可 以 包括 一 块 或 者 几 块 肌肉 组 织 ， 这 些 单元 与 使 面部 表 
情 改变 的 肌肉 结构 紧密 相连 ， 表 3-1 列 出 了 FACS 中 的 33 种 动作 单元 ， 还 有 11 种 动作 单元 
的 简单 描述 见 表 3-2。 在 面部 表情 产生 时 ， 可 根据 各 个 动作 单元 之 间 的 主导 或 次 要 、 苋 争 或 
对 抗 的 关系 ， 规 定 这 种 情形 下 的 规则 和 方法 。 

表 3-1 FACS 的 动作 单元 表格 
































































































































































































































































































































AU 编号 FACS 名 称 肌肉 基础 
1 眉 内 侧 上 扬 额 肌 、 内 侧 额 肌 
2 眉 外 侧 上 扬 额 肌 、 外 侧 额 肌 
4 眉毛 下 降 降 眉 间 肌 、 皱 眉 肌 
5 上 眼 瞪 上 挑 上 有 瞪 提 
6 面颊 上 扬 恨 轮 古 肌 、 若 肌 外 侧 
2 眼 上 蛤 紧 闭 恨 轮 古 肌 、 类 肌 内 侧 
8 师 层 朝向 对 方 口 轮 古 肌 
9 皱 鼻 子 提 上 层 肌 、 锚 肌 
10 上 层 上 提 提 上 层 肌 、 眶 轮 瑟 肌 
11 鼻 层 沟 皱 纹 加 深 王 肌 微调 
12 嘴角 拉 人 1 类 肌 调整 
13 脸颊 吹 气 尖 牙 肌 








































































































































































































































































































































































































AU 编 呈 | FACS% 称 | 肌肉 基础 
酒窝 页 肌 
嘴角 下 压 口 三 角 肌 
展 下 压 降下 层 肌 
抬 下 已 闫 肌 
层 皱 起 上 层 方 肌 、 下 层 方 肌 
层 拉 伸 笑 肌 
层 汇 集 口 轮 下 肌 
层 紧 闭 口 轮 正 肌 
民 嘴唇 口 轮 臣 肌 
两 层 分 开 降下 层 肌 或 口 轮 古 肌 
下 巴 下 降 里 骨 肌 、 翼 内 肌 放 松 
掺 嘴 翼状 肌 、 二 腹 有 
贤 层 吸 口 轮 臣 肌 
鼻孔 扩张 鼻 肌 、 鼻 肌 辟 部 
鼻孔 缩小 鼻 肌 、 鼻 肌 横 部 、 降 鼻中隔 肌 
民 上 险 下 垂 丛 提 肌 放 松 
恨 微 张 R 轮 牙 肌 
司 眼 丛 提 肌 放 松 
斜视 展 轮 臣 肌 、 眼 轮 熙 肌 有 险 部 
区 眼 依 提 肌 放 松 、 眼 轮 政 肌 的 收缩 、 眼 轮 政 肌 险 部 
区 眼 展 轮 下 肌 
表 3-2 FACS 的 动作 单元 表格 
CS 
19 伸 出 舌头 
21 缩 脖 
29 下 颌 前 控 
30 下 颌 侧 移 
31 下 颌 紧 咬 
32 咬 嘴 层 
33 轻 吹 
34 鼓 起 脸颊 吹 气 
35 品 胭 
36 卷 舌 
37 报 嘴 
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3.2 控制 器 的 设计 与 制作 


面部 表情 是 人 类 最 重要 的 身体 语言 ， 是 人 类 进行 思想 和 情感 交流 的 重要 手段 。 目 前 ， 世 
界 上 只 有 几 个 少数 发 达 国 家 做 出 了 具有 一 定 情 感 表达 能 力 的 机 器 人 仿生 脸 。 在 国内 该 方面 研 
究 尚 处 于 起 步 阶 段 。 北 京 科 技 大 学 对 此 进行 了 一 系列 的 研究 与 设计 ， 下 面 将 详细 介绍 机 器 人 
的 表情 控制 模式 。 


3.2.1 总 体 结构 


情感 机 器 人 电 控 系统 是 研究 的 硬件 基础 ， 整 个 电 控 系 统 采用 上 位 机 与 下 位 机 结合 的 结 
构 ， 上 位 机 采用 速度 快 ， 外 部 接口 齐全 ， 连 接 存储 空间 大 的 PC。 其 主要 承担 运算 量 大 、 计 
算 复杂 的 图 像 处 理 、 语 音 识别 和 语音 合成 工作 。 下 位 机 则 采用 性 价 比 高 的 PIC16F877 单 片 
机 ， 上 位 机 和 下 位 机 通过 RS232 串 行 接口 或 者 无 线 模块 进行 通信 。 下 位 机 主要 负责 传 感 顺 
言 息 接收 及 初级 处 理 、 电 动机 驱动 和 运动 控制 等 工作 。 

图 3-2 所 示 为 情感 机 器 人 的 系统 结构 图 ， 该 机 器 人 通过 机 器 视觉 、 语 音 识别 ， 红 外 传 感 
器 等 3 个 模块 感知 外 部 环境 信息 。 机 器 视觉 通过 上 位 机 处 理 后 具有 人 脸 识别 的 功能 。 语 音 识 
别 模块 经 过 传声器 将 语音 传递 给 上 位 机 ， 上 位 机 对 语音 信号 进行 情感 特征 提取 ， 得 到 输入 语 
音 的 情感 。 红 外 传感器 可 以 实现 感应 机 器 人 周围 障碍 或 者 是 人 员 人 靠近 的 功能 ， 并 可 以 将 探测 
到 的 信号 传输 给 下 位 机 系统 ， 下 位 机 系统 经 处 理 后 通过 RS232 通信 传递 给 上 位 机 系统 。 上 
位 机 系统 将 图 像 信 息 ， 语 音信 息 ， 下 位 机 信息 进行 综合 处 理 ， 得 到 与 机 器 人 交互 者 及 周围 环 
境 的 信息 ， 然 后 通过 机 器 人 的 情感 输出 模块 向 下 位 机 系统 和 语音 合成 模块 发 送 指令 。 下 位 机 
系统 通过 PWM 控制 电机 运动 产生 胶体 语音 〈 点 头 、 摇 头 ) 和 面部 表情 。 上 位 机 在 经 过 语音 
合成 后 通过 音响 向 人 类 表达 机 器 人 的 语言 。 情 感 机 器 人 的 语音 、 身 体 语言 和 表情 三 者 共同 构 
成 了 情感 机 器 人 的 情感 表达 。 人 类 可 以 通过 上 位 机 系统 的 调试 界面 对 机 器 人 各 功能 模块 进行 
调试 。 下 面 主 要 来 介绍 下 位 机 的 工作 。 
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到 3-2 ”情感 机 器 人 系统 结构 区 
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3.2.2 下 位 机 控制 


下 位 机 的 控制 由 一 块 多 路 舵 机 控制 电路 板 来 实现 ， 如 图 3-3 所 示 。 其 主要 模块 有 
PIC16F877A 单片机 、 串 口 通 信和 模块 、 无 线 接收 模块 、 无 线 发 射 模块 、 电 源 模 块 、 舵 机 
驱动 电路 模块 和 大 容量 串 行 EPROM 模块。 下 面 分 别 对 各 模块 的 结构 及 功能 进行 详细 


介绍 。 





2 编程 接口 


人 人 


图 3-3 ”PIC 控制 电路 板 





1. PIC16F877A 单片机 

该 多 路 舵 机 控制 板 采用 的 单片机 为 PIC16F877A。 

单片机 是 指 将 中 央 处 理 单元 CPU 、 程 序 存储 器 ROM 、 数 据 存储 器 RAM 以 及 输入 输出 端 
口 (LO 口 ) 等 部 件 集成 在 一 片 大 规模 或 超大 规模 集成 电路 上 的 超 微型 计算 机 。 

PIC 系列 单片机 的 硬件 设计 简洁 ， 指 令 系 统 设计 精炼 。 选 择 用 这 一 系列 的 单片机 主要 因 
为 其 具有 以 下 的 优点 : 

1) 哈佛 总 线 结构 : 所 谓 哈佛 总 线 结构 ， 也 就 是 程序 存储 器 和 数据 存储 器 位 于 不 同 的 逻 
辑 空 间 ， 而 数据 总 线 和 指令 总 线 分 离 ， 并 且 采 用 不 同 的 宽度 。 

2) 指令 单字 节 化 : 因为 数据 总 线 和 指令 总 线 是 分 离 的 ， 并 且 采 用 了 不 同 的 宽度 ， 所 以 
程序 存储 器 ROM 和 数据 存储 器 RAM 的 寻 址 空间 ( 即 地 址 编码 空间 )〉 是 相互 独立 的 ， 而且 
两 种 存储 器 宽度 也 不 同 。 这 样 设计 不 仅 可 以 确保 数据 的 安全 性 ， 还 能 提高 运行 速度 和 实现 全 
部 指令 的 单字 节 化 。 

3) 精简 指令 集 (RISC) 技术 : PIC 系列 单片机 不 仅 全 部 指令 均 为 单字 节 指 令 ， 而 且 缀 
大 多 数 指令 为 单 周 期 指令 ， 有 利于 提高 执行 速度 。 

4) 寻 址 方式 简单 : PIC 系列 单片机 只 有 4 种 寻 址 方式 〈 即 寄存 器 间接 寻 址 、 立 即 数 寻 
址 、 直 接 寻 址 和 位 寻 址 ) ， 容 易 掌握 。 

5) 代码 压缩 率 高 : 1KB 的 存储 空间 ， 对 于 像 MCS-51 这 样 的 单片机 ， 大 约 只 能 存放 
600 条 指令 ， 而 对 于 PIC 系列 单片机 则 能 够 存放 的 指令 条 数 多 达 1024 条 。 

6) 运行 速度 快 : 由 于 采用 哈佛 总 线 结构 ， 并 且 指 令 读 取 和 执行 采用 流水 作业 方式 ， 使 
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得 运行 速度 大 大 提高 。 

7) 功 耗 低 : PIC 系列 单片机 的 功率 消耗 极 低 ， 有 些 型 号 甚至 在 4MHz 时 钟 下 工作 时 电 
流 不 超过 2mA ， 在 睡眠 模式 下 电流 可 以 达到 1pA 以 下 。 

8) 驱动 能 力 强 : LO 端口 驱动 负载 的 能 力 较 强 ， 每 个 0 引 脚 输入 和 输出 电流 的 最 大 
值 可 以 分 别 达到 25mA 和 20mA， 能 够 直接 驱动 发 光 二 极 管 LED 、 光 耦合 器 或 者 微型 继电器 。 

9) PC 和 SPI 串 行 总 线 端口 : 用 这 两 种 串 行 总 线 技术 可 以 实现 蕊 片 间 同步 串 行 数据 
传输 。 

10) 寻 址 空间 设计 简洁 : PIC 系列 单片机 的 程序 、 堆 栈 、 数 据 三 者 各 自 采 用 互相 独立 的 
寻 址 〈 或 抵制 编码 ) ， 而 且 前 两 者 的 地 址 安排 不 需要 用 户 操心 。 

11) 外 接 电路 简洁 : PIC 单片机 内 集成 了 上 电 复 位 电路 、LO 引 脚 上 拉 电 路 、 看 门 狗 定 
时 器 等 ， 可 以 最 大 限度 地 减少 或 免 用 外 接 元 器 件 。 

12) 开发 方便 。 

13) C 语言 编程 。 

14) 品种 丰富 。 

15) 程序 存储 器 版 本 齐全 。 

16) 程序 保密 性 强 。 

PIC16F877 的 工作 频率 范围 为 DC ~20MHz， 具 有 上 电 复 位 (Power- on Reset) 和 掉 电 锁 
定 复位 (Brown-out Reset) 两 种 重 置 功能 ， 以 及 上 电 定 时 器 和 晶振 起 振 定 时 器 。 除 一 个 看 门 
狗 定时 器 外 ， 另 外 还 有 三 个 定时 器 和 两 个 CCP 模块 ， 串 行 通信 模式 方面 共 支 持 USART 、SPI 
和 I2C。 

可 以 用 几 个 不 同 的 中 断 源 激活 处 理 器 从 休眠 状态 中 苏醒 ， 并 具有 固定 的 中 断 开销 时 间 ， 
同步 中 断 是 3 个 周期 。 用 户 可 以 根据 需要 存储 /恢复 寄存 器 。 

2. 通信 模块 

串口 通信 模块 是 整个 系统 与 PC 发 送 及 接收 数据 和 命令 的 通道 ，PC 将 外 界 信 息 进 行 处 
理 和 计算 ,得 出 结果 ， 然 后 将 动作 指令 号 发 送 到 下 位 机 。 下 位 机 接收 到 动作 指令 后 输出 
PWM 波 控 制 舵 机 运动 。 数 据 的 发 送 和 接收 有 两 种 方式 即 有 线 模式 和 无 线 模式 。 本 设计 采 
用 有 线 的 串口 通信 。 

SP3232C 专用 模块 负责 接收 上 位 机 发 来 的 动作 指令 号 ， 其 电路 原理 图 如 图 3-4 所 示 。 
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图 3-4 串口 通信 模块 电路 图 
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3. 电源 模块 

情感 机 器 人 所 需 电压 共 分 两 种 ,一 种 是 给 舵 机 供电 的 6V 电压 ， 一 种 是 给 各 个 芯片 供电 
的 3.3V 电压 ， 为 了 解决 不 同 电压 的 问题 ， 本 文采 用 LM1117 电源 芯片 ， 将 电池 的 6V 电压 转 
换 成 3.3V 电压 ， 这 样 就 可 以 用 一 个 电源 产生 两 种 电压 值 (代号 分 别 为 VIN 和 VCC3.3) 分 
别 给 能 机 和 各 个 芯片 供电 。 电 源 模 块 原理 图 如 图 3-5 所 示 。 
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到 3-5 电源 模块 原理 图 











4. 舵 机 了 驱动 电路 模块 
舵 机 了 驱动 电路 主要 由 一 个 三 针 插 座 以 及 与 之 相配 套 的 电阻 构成 ,具体 实现 功能 是 为 舵 机 


提供 工作 电源 ， 发 送 控制 脉冲 ， 其 原理 图 如 图 3-6 所 示 ，PHX 与 PIC 单片机 控制 脉冲 与 发 
送 LO 口 相连 ，6V 为 舵 机 的 工作 电压 ， 电压 VCC 为 上 拉 电 压 ， 保 证 由 PHX 发 送 过 来 的 控 


制 脉冲 可 以 可 靠 的 被 通 机 接收 。 

















图 3-6 舵 机 原理 图 





5. 大 容量 串口 存储 器 

多 路 舵 机 控制 板 能 够 接收 上 位 机 PC 发 来 的 各 种 指令 ， 并 能 按照 用 户 事先 编制 好 的 动作 
来 控制 各 电动 机 有 条 不 亲 的 运动 ， 必 然 要 求 电路 板 上 接 有 足够 容量 的 存储 器 。 本 电路 板 先 用 
的 存储 器 是 AT24C512 大 容量 串口 存储 器 。 其 原理 和 外 围 电路 如 图 3-7 所 示 。 
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图 3-7 AT24C512 大 容量 串口 存储 器 外 围 电路 原理 图 





3.3 面部 表情 仿真 
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为 使 实物 制作 过 程 更 为 直观 ， 可 采用 《虚拟 人 脸 动 画 与 人 机 交互 技术 研究 》 中 提 到 的 
仿真 软件 对 虚拟 的 人 物 脸 部 进行 表情 仿真 ， 在 达到 要 求 之 后 进行 相关 的 实物 制作 和 调试 。 
人 脸 动 画 仿真 软件 首先 需要 按照 人 体 工 学 原理 建立 一 个 人 脸 的 三 维 线 框 网 格 模型 ， 如 图 











3-8 所 示 。 


国 虚 扳 人 辽 动 画 夭 强 
文件 ”编辑 模型 ”帮助 


然后 把 脸 部 照片 进行 投影 ， 
示 。 在 此 上 脸 部 三 维 模型 基础 上 ， 



































信 肥 模型 [az | | 表情 | 语音 动画 | 的 详 











显示 久 理 
模型 变形 参数 
© HeadlHeight 
© EyebrowsyTF 
© Eyes 
人 Eye 
OO Eyel 
© FPyeSepD 
©O CheslksZ 
OO WoseZ 








morphing 


年 龄 : 口 














到 3-8 三 维 线 框 网 格 模型 


一 点 一 点 地 往 骨 架 上 贴 ， 就 可 以 生成 脸 部 图 像 ， 如 图 3-9 所 
加 上 基于 表情 参数 产生 的 变形 ， 便 可 获得 一 系列 有 表情 变化 




















的 脸 部 图 像 。 


此 后 通过 特征 点 的 移动 来 合成 表情 。 利 用 表情 参数 使 线 框架 模型 的 形状 变形 来 合成 表情 





的 关键 在 于 如 何 定义 表情 参数 。 





人 的 表情 是 通过 脸 部 肌肉 伸缩 而 形成 ， 无 法 从 外 部 来 观察 肌 











肉 的 运动 ， 直 接 分 析 这 种 参数 几乎 是 不 可 能 的 。 因 此 只 能 从 外 部 观察 看 到 的 脸 部 特征 点 动作 


(例如 眼 梢 的 动作 ) 来 定义 脸 部 表情 参数 。 利 用 FACS 中 的 各 种 AU 在 三 维 线 框架 模型 上 进 











行 表 现 ， 便 能 够 有 效 地 合成 任意 表情 。 如 图 3- 10 所 示 。 
人 脸 动 画 仿真 软件 把 人 的 脸 部 动作 分 解 为 44 种 称 为 AU (动作 单位 ) 的 基本 动作 。 各 
个 AU 可 以 根据 脸 部 的 特点 予以 定义 ， 也 可 以 从 解剖 学 角度 考虑 定义 一 个 或 几 个 肌肉 收缩 、 








松弛 。 于 是 ， 所 有 表情 都 可 以 月 














昌 AU 的 组 合 来 表示 。 根 据 每 种 表情 的 描述 ， 可 以 将 它 拆 成 若 





于 个 运动 单位 的 组 合 。 当 然 ， 这 是 在 忽略 了 许多 表情 变化 细节 的 基础 上 做 出 的 ， 只 是 近似 地 


反映 出 每 种 表情 的 特点 。 例 如 : 
悲伤 =AU1 + AU15 
通过 对 这 些 AU 进行 组 合 ， 


惊奇 =AU26 +AU1 厌恶 =AU12 + AU4 + AU9 
就 可 以 合成 对 应 于 人 类 基本 感情 的 表现 ， 如 刁 、 笑 等 。 在 心 
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文件 ”编辑 模型 ” 攻 助 


人 腔 模型 | FAF | ry | 表 篆 | 语音 动画 





模型 变形 参数 

他 Headleight © HoseyE 
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morphing 

年 龄 : 下! 


20 0 B60 











3-9 机 器 人 脸 部 照片 及 贴 好 图 片 纹理 的 模型 


| 

















图 3-10 “原始 的 三 维 网 格 〈 左 图 ) 和 惊奇 时 的 三 维 网 格 ( 右 图 ) 


























理学 领域 ， 把 人 的 基本 表情 分 为 惊奇 、 灵 惧 、 厌 亚 、 惯 经 、 高 兴 、 翡 伤 六 种 。 因 此 ， 可 以 通 
过 按钮 对 不 同 的 网 格 点 进行 变形 处 理 ， 仿 真 以 上 六 种 基本 表情 ， 如 图 3-11 所 示 。 

以 上 六 种 基本 表情 的 形成 大 部 分 均 遵 循 FACS 脸 部 表情 编码 系统 的 规则 。 由 仿真 结果 可 
以 看 出 这 些 表情 还 是 比较 逼真 的 。 为 使 表情 看 起 来 更 加 的 通 真 、 形 象 ， 有 些 表情 在 FACS 5 
码 系 统 的 基础 上 ， 还 依照 常识 加 入 了 一 些 相 关 的 动作 。 这 些 仿真 表情 的 形成 特点 可 以 有 效 地 
指导 情感 机 器 人 的 表情 调试 工作 。 
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高 兴 忍 惧 
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3.4 面部 表情 调试 


心理 学 研究 表明 : 人 脸 能 够 产生 大 约 55000 种 不 同 的 表情 ， 其 中 有 多 种 能 够 用 人 类 自然 
语言 的 词汇 区 别 开 来 。 在 心理 学 领域 ， 把 人 的 基本 表情 分 为 惊奇 、 恕 惧 、 厌 恶 、 慎 怒 、 高 
兴 、 莫 伤 六 种 。 机 器 人 头 部 电动 机 与 相应 的 AU 一 一 对 应 ， 电 机 的 运动 可 以 转换 成 为 AU 的 
运动 ， 从 而 产生 表情 。 表 3-3 列 出 了 六 种 基本 表情 与 AU 的 关系 。 


表 3-3 六 种 基本 表情 与 AU 的 关系 
































表 和 傅 AU 
高 兴 AU16 + AU12 
悲伤 AU1 + AU15 
惊奇 AU26 + AU1 
式 惧 AU12 + AU1 
愤怒 AU27 + AU4 + AU9 
厌恶 AU12 +AU4 +AU9 





AU=116、12、1、15、26 、27 、4 、9} 共 7 个 。AU1 (提升 眉毛 ) 、AU4 (下 拉 眉 毛 )、 
AU9 (收缩 鼻子 ) 、AU12 (拉动 嘴角 ) 、AU15 (嘴角 下 压 )、AU16 (提高 辣 部 )、AU26 (下 
拉 下 巴 )、AU27 (张大 嘴巴 ) 。 

如 图 3-12 所 示 ， 点 击 “ 浏 览 ” 按 钮 后 ， 就 可 以 把 要 加 载 的 机 器 人 头 部 的 运动 数据 
读 取 出 来 。CH1 ~ CH13 对 应 机 器 人 的 13 台 通 机， 在 机 器 人 上 电 的 状态 下 ， 我 们 拖 动 
CH1 ~ CH13 中 任意 滑 块 ， 机 器 人 的 相应 舵 机 也 会 移动 相应 的 角度 。 根 据 机 器 人 动作 要 
求 ， 每 台 舵 机 设 定 完成 某 一 个 角度 ， 机 器 人 就 可 以 完成 相应 的 动作 ， 数 据 由 相应 滑 块 
任意 调节 。 此 软件 还 可 以 对 数据 进行 微调 。 选 择 其 中 的 一 组 数据 ， 双 击 之 后 ， 这 组 数 
据 就 可 以 在 上 面 的 各 个 滑动 块 中 体现 出 来 。 通 过 拉动 滑动 块 ， 可 以 改变 每 一 个 CHX 对 
应 的 数据 ， 调 整 完毕 之 后 按 软件 右上 角 的 修改 就 可 以 把 改动 的 数据 重新 保存 到 原来 的 
位 置 。 在 软件 的 上 方 有 一 个 同步 的 选项 ， 有 ON 和 OFF 两 个 选项 ， 如 果 选 OFF 选项 ， 
调整 后 按 插入 按钮 旁边 的 那个 发 送 按钮 ， 就 会 把 调整 完毕 的 数据 一 一 即 13 个 滑动 块 所 
体现 出 来 的 数据 一 一 发 送 给 机 器 人 ， 这 样 就 可 以 验证 是 否 数据 已 经 调整 完毕 ; 如 果 选 择 
ON 选项 ， 则 用 滑动 条 调整 数据 的 同时 ， 机 器 人 就 做 出 相应 的 动作 ， 即 可 以 实时 显示 微 
调 结 果 。 

从 以 上 仿真 结果 及 通过 调试 界面 对 各 动作 单元 的 调试 ， 我 们 可 以 得 到 表情 机 器 人 的 六 种 
基本 表情 可 参见 图 3-1。 从 而 情感 机 器 人 利用 不 同 表 情 不 同 的 行为 。 例 如 ， 当 情感 机 器 人 需 
要 表现 出 可 悲 的 行为 ， 它 可 以 使 用 悲伤 、 厌 恶 或 意外 的 情感 。 同 样 根 据 情 况 ， 情 感 机 器 人 可 
以 使 用 这 些 面 部 表情 表现 出 愤怒 、 恺 慢 、 惊 讶 或 喜悦 的 面部 表情 与 具有 情感 的 语音 合成 相 结 
合 ， 使 机 器 人 的 情感 表达 更 加 生动 逼真 。 
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第 4 革 电动 机 控制 


在 前 两 章 我 们 讨论 了 情感 机 器 人 表情 头 的 设计 ， 那 么 是 什么 驱动 机 器 人 的 头 部 并 且 表达 
出 如 此 丰富 多 彩 的 情感 呢 ? 这 就 是 机 械 与 电子 的 有 机 结合 ， 本 章 将 围绕 这 个 问题 对 电动 机 控 
制 进行 介绍 。 

机 器 人 使 用 的 电动 机 在 满足 必要 输出 力矩 和 输出 速度 的 同时 ， 必 须 使 机 械 结构 紧凑 、 传 
动 精度 和 效率 较 高 ， 以 满足 机 构 速 度 和 承载 能 力 的 要 求 。 因 而 电动 机 的 选择 至 关 重 要 ， 电 动 
机 选择 的 好 坏 甚 至 直接 关系 到 项 目的 成 功 或 失败 。 本 章 主要 讲解 在 机 器 人 设计 中 如 何 选择 电 
动机 ， 以 及 在 情感 机 器 人 头 部 控制 中 如 何 应 用 舵 机 的 问题 。 图 4- 1 所 示 的 表情 便 是 由 电动 机 
驱动 的 情感 机 器 人 产生 ， 分 别 代表 微笑 、 悲 伤 、 惊 证、 害羞 。 






































到 4-1 由 电动 机 驱动 的 情感 机 器 人 表情 

















4.1 电动 机 的 基本 概念 


电动 机 按 工作 电源 的 不 同 ， 可 以 分 为 直流 电动 机 和 交流 电动 机 ， 交 流 电 动机 又 可 以 分 为 
单 相 电动 机 和 三 相 电 动机 。 按 用 途 分 类 ， 电 动机 可 分 为 驱动 用 电动 机 和 控制 用 电动 机 。 豫 动 
用 电动 机 又 分 为 电动 工具 〈 包 括 销 孔 、 抛 光 、 磨 光 、 开 槽 、 切 割 、 扩 孔 等 工具 ) 用 电动 机 、 
家 电 〈 包 括 洗衣 机 、 电 风扇 、 电 冰箱 、 空 调 嚣 、 有 录音机、 有 录像机、 影碟 机 、 吸 侍 占 、 照 相 
机 、 电 吹风 、 电 动 弟 须 刀 等 ) 用 电动 机 及 其 他 通用 小 型 机 械 设备 (包括 各 种 小 型 机 床 、 小 
型 机 械 、 医 疗 器 械 、 电 子 仪器 等 ) 用 电动 机 。 控 制 用 电动 机 又 分 为 步 进 电动 机 和 伺服 电动 
机 等 。 
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伺服 电动 机 就 是 在 伺服 系统 中 控制 机 械 元 件 运 转 的 发 动机 ， 是 一 种 补助 电动 机 间接 变速 
的 装置 。 伺 服 电 动机 ， 可 使 控制 速度 量 、 位 置 量 非常 精确 ， 并 可 将 电压 信号 转化 为 转 矩 和 转 
速 以 驱动 控制 对 象 。 伺 服 电动 机 可 以 分 为 直流 伺服 电动 机 和 交流 伺服 电动 机 。 

直流 伺服 电动 机 分 为 有 刷 电动 机 和 无 刷 电动 机 。 有 刷 电 机 成 本 低 ， 结 构 简 单 ， 起 动 转 和 矩 
大 ， 调 速 范围 宽 ， 控 制 容 易 ， 维 护 方便 〈 换 电 刷 ) ， 但 易 产 生 电 磁 和 干扰， 因此 对 环境 有 要 
求 ， 它 可 以 用 于 对 低 成 本 的 普通 工业 和 民用 场合 。 

无 刷 电动 机 体积 小 、 重 量 轻 、 转 矩 大 、 咱 应 快 、 速 度 高 、 惯 量 小 、 转 动 平 滑 、 力 和 矩 稳 
定 、 控 制 复杂 、 容 易 实现 智能 化 、 其 电子 换 相 方式 灵活 、 可 以 方 波 换 相 或 正弦 波 换 相 。 电 机 
免 维护 、 效 率 高 、 运 行 温度 低 、 电 磁 辐 射 小 、 寿 命 长 、 可 用 于 各 种 环境 。 

交流 伺服 电动 机 也 是 无 刷 电动 机 ， 可 分 为 同步 和 有 异步 电动 机 ， 目 前 运动 控制 中 一 般 都 用 
同步 电动 机 ， 它 的 功率 范围 大 ， 可 以 做 到 很 大 的 功率 。 惯 量 大 ， 最 高 转动 速度 低 ， 且 随 着 功 
率 增 大 而 快速 降低 。 因 而 适合 于 低速 平稳 运行 。 

伺服 电动 机 内 部 的 转子 是 永 磁 铁 ， 驱 动 带 控制 的 UVZW 三 相 电 形成 电磁 场 ， 转 子 在 此 
磁场 的 作用 下 转动 ， 同 时 电动 机 自 带 的 编码 需 反 馈 信 和 号 给 驱动 器 ， 驱 动 器 根据 反馈 值 与 目标 
值 进行 比较 ， 调 整 转子 转动 的 角度 。 伺 服 电动 机 的 精度 取决 于 编码 器 的 精度 〈 线 数 ) 。 


4.2 舵 机 的 选择 


在 情感 机 器 人 头 部 和 身躯 结构 设计 中 ， 关 节 轴 系 的 设计 必须 结构 紧凑 、 传 动 精度 高 且 传 
动 效 率 高 ， 并 保证 提供 必要 的 输出 力矩 和 输出 速度 ， 以 满足 机 构 动 作 的 运动 速度 和 承载 能 
的 要 求 。 而 舵 机 具有 体积 小 ， 重 量 轻 ， 经 济 实用 的 特点 。 


4.2.1 舵 机 的 结构 


舵 机 最 早出 现在 航模 运动 中 。 在 航空 模型 中 ， 飞 行 机 的 飞行 姿态 是 通过 调节 发 动机 和 各 
控制 舵 面 来 实现 的 。 舵 机 因此 得 名 : 控制 舵 面 的 伺服 电动 机 。 不 仅 在 航模 飞机 中 ， 在 其 他 的 
模型 运动 中 都 可 以 看 到 它 的 应 用 。 船 模 上 用 来 控制 尾 舵 ， 车 模 中 用 来 转向 等 。 由 此 可 见 ， 几 
是 需要 操作 性 动作 时 都 可 以 用 舵 机 来 实现 。 

一 般 来 讲 ， 舵 机 主要 由 舵 盘 、 变 速 齿 轮 组 、 位 置 
反馈 电位 计 、 直 流 电 动机 、 控 制 电路 板 等 组 成 ， 如 图 
4-2 所 示 。 实 际 的 舵 机 又 有 许多 区 别 ， 例 如 电动 机 有 
有 有 刷 和 无 刷 之 分 ， 基 轮 有 塑料 和 金属 之 分 ， 输 出 轴 有 
滑动 和 滚动 之 分 ， 速 度 有 快速 和 慢 速 之 分 等 ， 组 合 不 
同 ， 价 格 也 千差万别 。 

舵 机 的 瞬时 运动 速度 由 其 内 部 的 直流 电动 机 和 变 
速 齿轮 组 的 配合 决定 ， 在 恒定 的 电压 驱动 下 ， 其 数值 
恒定 不 变 。 但 其 平均 运动 速度 可 通过 分 段 停顿 的 控制 
方式 来 改变 ， 例 如 ， 我 们 可 把 动作 幅度 为 90° 的 转动 人 
细 分 为 128 个 停顿 点 ， 通 过 控制 每 个 停顿 点 来 实现 1 一 电流 电动 机 2 一 变速 齿轮 组 
0° ~90? 的 匀速 变化 。 对 于 多 数 舵 机 来 说 ， 速 度 的 单 3 一 反馈 电位 计 4 一 控制 电路 板 












































































































































位 是 “ss"。 

标准 的 舵 机 有 三 条 引线 ,分别 为 电源 线 VCC、 地 线 GND 及 控制 线 CON， 如 图 4-3 所 
示 。 电 源 线 与 地 线 用 于 提供 内 部 的 直流 电动 机 及 控制 线路 所 需 的 能 源 ， 电 压 通常 介 于 4 ~6V 
之 间 ， 该 电源 应 尽 可 能 与 CPU 系统 的 电源 隔离 (因为 舵 机 会 产生 噪声 ) 。 小 能 机 在 重负 载 时 
也 会 拉 低 放大 器 的 电压 ， 所 以 整个 系统 的 电源 供应 比例 必须 合理 。 








图 4-3 舵 机 的 引线 





4.2.2 能 机 的 工作 原理 
舵 机 是 一 个 典型 闭环 反馈 系统 ， 其 工作 原理 由 图 4-4 所 示 。 











这 和 Wi -| 控制 电路 


比例 电压 











图 4-4 舵 机 工作 原理 框图 














减速 齿轮 组 由 电动 机 驱动 ， 其 齿轮 组 的 输出 轴 带 动 一 个 线性 的 比例 电位 器 ， 该 电位 器 把 
输出 轴 转 过 的 角度 9 转换 成 比例 的 电压 反馈 给 控制 电路 ， 控 制 电 路 将 其 与 输入 的 控制 脉冲 信 
号 进行 比较 ， 产 生 纠 偏 脉 溃 ， 并 驱动 电动 机 正 向 或 反 向 转动 ， 使 齿轮 组 的 输出 位 置 与 期 望 值 
相符 ， 令 纠偏 脉冲 趋 于 为 0， 从 而 达到 使 舵 机 精确 定位 的 目的 。 

舵 机 的 控制 信号 为 周期 20ms 的 脉 宽 调 制 (PWM) 信和 号， 其 中 脉冲 宽度 从 0. 5 ~2. 5ms， 
相对 应 舵 盘 的 位 置 为 0 ~180" ， 呈 线性 变化 。 也 就 是 说 ， 给 它 提供 一 定 的 脉 宽 ， 它 的 输出 
轴 就 会 保持 在 一 个 相应 的 角度 上 ， 直 到 给 它 提供 一 个 另外 宽度 的 脉冲 信号 ， 它 才 会 改变 输出 
角度 到 新 的 对 应 的 位 置 上 。 舵 机 内 部 有 一 个 基准 电路 ， 产 生 周 期 为 20ms ， 宽 度 为 1. 5ms 的 
基准 信号 ， 外 加 信号 与 基准 信号 通过 比较 器 比较 ， 判 断 出 方向 和 大 小 ， 从 而 产生 电机 的 转动 
信和 号。 由 此 可 见 ， 舵 机 是 一 种 位 置 伺 服 的 驱动 器 ， 转 动 范 围 不 能 超过 180" ， 适 用 于 那些 需 
要 角度 不 断 变 化 并 可 以 保持 的 驱动 设备 。 

伺服 电动 机 是 靠 接 受 不 同 占 空 比 的 脉冲 信号 ， 从 而 转化 成 相应 的 平均 电压 ， 以 此 来 驱动 
其 内 部 小 电动 机 带动 齿轮 转动 。 舵 机 其 具体 的 脉冲 宽度 与 舵 机 角度 的 对 应 关系 如 图 4-5 
所 示 。 


4.2.3 舵 机 的 注意 事项 


普通 的 模拟 量 舵 机 不 是 一 个 精确 的 定位 器 件 ， 即 使 使 用 同一 品牌 型 号 的 能 机 产品 ， 它 们 
之 间 的 差别 也 非常 大 ， 同 一 脉冲 宽度 驱动 时 ,不 同 的 舵 机 存在 +10° 的 偏差 也 是 正常 的 。 特 
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输入 脉冲 高 电 平 宽度 (周期 20ms) 舵 机 转动 角度 


| 0.7ms 
| | 1.1mas 











| 1.5ms 
| | 1.9ms 
| | 2.3ms 




















图 4-5 脉冲 宽度 与 能 机 角度 的 对 应 关系 














别 注意 ， 绝 不 可 加 载 让 ~ 舵 机 输出 位 置 超过 +90° 的 脉冲 信号 ， 否 则 会 损坏 舵 机 的 输出 限 位 机 
构 或 齿轮 组 等 机 械 部 件 。 由 此 可 见 ， 舵 机 具有 以 下 特点 : 体积 紧凑 ， 便 于 安装 ; 输出 力矩 
大 ,稳定 性 好 ; 控制 简单 ， 便 于 和 数字 系统 连接 。 

正 是 因为 舵 机 具有 以 上 诸多 优点 ， 其 早已 不 局 限于 航模 运动 中 的 应 用 ， 而 是 扩展 到 各 种 
机 电 产 品 中 来 ， 在 机 器 人 控制 中 应 用 也 越 来 越 广泛 ， 因 此 在 情感 机 器 人 的 设计 中 我 们 也 采用 
舵 机 实现 其 控制 功能 。 


4.2.4 直流 电动 机 的 选择 


maxon 直流 电动 机 是 一 种 高 质量 的 驱动 元 件 ， 它 装 有 高 性 能 的 稀土 磁 钢 ， 专 利 的 空 世 杯 
转子 ， 体 积 小 、 性 能 高 、 惯 量 低 。 借 助 于 精密 的 齿轮 箱 ， 可 获得 更 宽 的 速度 和 转移 范围 。 高 
分 辩 率 的 模拟 和 数字 编码 器 为 运动 控制 提供 了 有 力 的 保障 。 其 已 被 证 明 CLL (电容 炮 弧 长 寿 
命 ) 技术 有 效 地 延长 了 电动 机 的 寿命 。maxon 直流 电动 机 结构 如 图 4-6 所 示 。 

1. maxon 直流 电动 机 的 技术 特点 

1) 无 齿 权 效应 : 采用 小 惯量 转子 获得 高 加 速 
性 能 ; 电磁 干扰 小 ; 小 电感 ; 换 向 器 多 片 设 计 ; 转 
和 矩 波动 小 ; 可 短 时 过 载 ; 结构 紧凑 、 小 尺寸 ; 能 与 行星 基 轮 - 相 
多 种 齿轮 箱 、 编 码 器 、 直 流 测速 机 配合 使 用 。 Bp sn 

2) 转速 : 电动 机 的 最 佳 工作 速度 在 4000 ~ 
9000r/min， 这 是 由 电动 机 的 尺寸 大 小 所 决定 的 , 某 3 
些 特殊 型 号 可 获得 20000r/min 以 上 的 转速 。 pp, i 直流 电动 机 

3) 电动 机 的 物理 特性 : 在 电压 为 常数 的 情况 “” 
下 ,其 转速 随 负载 增加 而 减 小 。 多 种 绕组 选择 使 用 
使 电动 机 能 匹配 多 种 条 件 。 在 低 转速 条 件 下 ， 配 合 图 4-6 maxon 直流 电动 机 结构 
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使 用 齿轮 箱 比 直接 降低 转速 更 为 有 利 。 

4) 工作 寿命 ， 由 于 多 种 因素 的 影响 ， 很 难以 一 个 通用 状态 来 衡量 电动 机 的 寿命 。 电 动机 
在 良好 状态 下 寿命 可 达 20000h ， 而 在 极端 条 件 下 仅 为 100h。 通 常情 况 下 能 达到 1000 ~3000h。 

2. 如 果 要 获得 更 大 的 转 矩 和 相对 较 低 的 速度 ， 就 需要 使 用 maxon 精密 齿轮 箱 

由 于 齿轮 的 减速 作用 ， 输 出 速度 会 减 小 而 输出 转 矩 会 变 大 。 为 方便 使 用 ， 在 出 三 前 已 将 
减速 箱 与 所 需 电 机 装配 成 一 体 。 刚 性 固定 于 电机 轴 上 的 小 齿轮 作为 一 级 输入 齿轮 。 
行星 齿轮 减速 箱 : 行星 齿轮 箱 特别 适合 高 转 矩 传递 ， 可 实现 180N .nm 的 大 转 矩 传递 ， 
减速 比 4:1~6285:1， 外 径 $6 ~8lmm， 高 性 能 比 、 小 尺寸 ， 齿 轮 箱 输入 输出 同 轴 心 。 

工作 寿命 : 在 最 大 允许 载荷 和 推荐 输入 速度 范围 内 ， 齿 轮 箱 可 连续 工作 1000 ~ 3000h。 

其 他 影响 因素 : 转 矩 过 大 会 加 大 磨损 ， 齿 轮 接触 处 局 部 温度 过 高 会 破坏 润滑 油 的 性 能 ， 
大 大 超过 额定 输入 速度 的 输入 量 会 减少 寿命 以 及 轴承 所 承受 的 径 向 和 轴 癌 载荷 。 

陶瓷 材料 : 越 来 越 多 的 用 于 行星 齿轮 箱 ， 它 能 增进 关键 部 件 的 耐 磨 性 。 

温度 /润滑 : maxon 齿轮 箱 需要 润滑 以 保证 寿命 。 润 滑 剂 上 只 有 在 推荐 的 温度 范围 内 才 有 
效 。 工 作 温度 过 高 或 过 低 时 ， 则 需要 使 用 特种 润滑 剂 。 

3 数字 增 量 编码 器 
编码 器 输入 方 波 信 号 给 控制 系统 ， 通 过 脉冲 计数 用 来 精确 计算 位 置 和 速度 。A、B 通道 
的 相位 变化 可 以 用 来 判定 旋转 方向 。 通 道 1 提供 零 位 信号 ， 用 作 精 确 判 断 旋转 角度 的 参考 
点 。 线 驱动 器 产生 的 差 动 信号 ， 可 有 效 去 除 在 信号 长 距离 传输 过 程 中 产生 的 干扰 。 此 外 ， 安 
装 在 编码 器 内 部 的 电子 线路 能 提供 更 好 的 信号 边沿 。 

4. 选用 maxon 直流 电动 机 的 参数 

4 标 称 功率 : 20W; 

4 额定 电压 : 24V; 

令 空 载 转 速 : 9550r/min; 

令 堵 转 转 矩 : 243mN : m; 

人 空 载 电流 : 37mA; 

令 堵 转 电流 : 10400mA ; 

令 最 大 人 允许 转速 11000r/min; 

令 最 大 连续 电流 : 1210mA; 

4 最 大 连续 转 矩 : 26. ImN .mi 

最 大 输出 功率 : 58300mW ; 

人 最 大 效率 : 85% ; 

@ 速度 常数 . 407 (r/min) /V; 

人 机 械 时 间 常 数 : 4ms; 

人 转子 惯量 : 10. 3g .cm ; 

人 电动 机 电感 : 0. 24mH; 

令 电动 机 自 带 减速 箱 的 减速 比 : 100: 1。 


4.3 ”了 艇 机 驱动 控制 模块 


























































































































舵 机 的 控制 信号 可 由 FPGA (Field- Progr ammable Gate Array， 现 场 可 编程 门 阵列 ) 、 模 拟 
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电路 或 单片机 来 产生 。 采 用 FPCA 或 CPLD 产生 PWM 波 已 经 在 很 多 重要 的 场合 得 到 应 用 ， 
依靠 其 特有 的 并 行 处 理 能 力 和 大 量 的 VO 接口 ， 可 以 同时 控制 几 十 甚至 上 百 个 能 机 同时 工 
作 ， 这 种 方法 可 靠 、 控 制 精度 高 ， 但 是 成 本 较 高 ， 适 用 于 重要 场合 。 用 模拟 电路 实现 较 复 
杂 ， 而 且 产生 的 脉冲 频率 和 脉 宽 不 是 很 准确 ， 很 难 实现 精确 控制 。 由 于 单片机 具有 性 能 稳 
定 、 编 程 灵 活 、 精 度 较 高 、 价 格 低 腰 等 特点 ， 一 般 采 用 单片机 作为 能 机 控制 器 。 

以 上 介绍 了 舱 机 的 相关 概念 ， 屠 
么 在 情感 机 器 人 的 电 控 系统 中 舱 机 是 
如 何 工作 的 呢 ? 在 情感 机 器 人 电 控 系 
统 中 我 们 采用 了 上 下 位 机 相 结合 的 体 
系 结构 ， 机 电 系统 的 结构 如 图 4-7 所 
示 。 上 位 机 采用 计算 机 控制 ， 主 要 优 
点 是 速度 快 ， 各 种 外 部 接口 设备 多 ， 
连接 存储 空间 大 的 PC。 上 位 机 主要 
负责 运算 量 大 、 计 算 复杂 的 图 像 处 es 
理 、 语 音 识别 和 语音 合成 工作 。 下 位 机 采用 性 价 比 高 的 PIC16F877 单片机 ， 上 位 机 和 下 位 机 
通过 RS232 串口 或 者 无 线 模块 进行 连接 和 通信 。 下 位 机 主要 负责 传感器 信息 接收 及 初级 处 
理 、 电 动机 驱动 和 运动 控制 等 工作 。 

下 位 机 的 控制 又 分 成 能 机 控制 和 吉 流 电机 控制 两 大 部 分 ， 一 部 分 是 手臂 及 头 部 的 能 机 控 
制 系统 : 能 机 的 控制 系统 主要 包括 机 器 人 的 控制 核心 一 PIC16F877 单片机 、 数 据 存储 模 
块 、 通 信 模 块 以 及 其 他 的 硬件 控制 模块 。 另 一 部 分 是 转 古 、 弯 腰 实 现 的 直流 电机 控制 系统 : 
主要 包括 直流 电动 机 控制 、 无 线 接收 控制 、 传 感 器 编码 控制 、 手 焊 转 接 控制 。 下 面 主要 介绍 
能 机 控制 模块。 


4.3.1 驱动 电路 模块 


舵 机 驱动 电路 主要 由 一 个 三 针 插座 以 及 与 之 相 
配套 的 电阻 构成 ， 实 现 给 舵 机 提供 工作 电源 ， 发 送 
控制 脉冲 的 功能 ， 其 原理 图 如 图 4-8 所 示 ，PHX 与 
PIC 单片机 控制 脉冲 与 发 送 VO 口 相 连 ，6V 为 能 机 
的 工作 电压 ， 电 压 VCC 为 上 拉 电 压 ， 保 证 由 PHX = 
发 送 的 控制 脉冲 可 被 能 机 可 靠 接收 。 图 4-8 能 机 接口 电路 


4.3.2 舵 机 的 控制 


1. 能 机 运动 分 辩 率 

能 机 是 一 种 转动 角度 有 范围 的 电动 机 ， 一 般 是 0” ~ 180"， 通 机 运动 过 程 比较 平缓 ,不 
是 立刻 就 运动 到 指定 位 置 ， 即 要 一 点 一 点 地 转动 到 目标 位 置 ， 例 如 能 机 村 由 0° 转动 到 90”， 
转动 的 时 候 不 是 一 下 子 就 转动 到 90"， 而 是 转动 一 次 转 1*， 然 后 转动 90 次 ， 才 转动 到 90"。 
之 所 以 这 么 处 理 能 机 的 运动 ， 主 要 是 为 了 控制 能 机 速度 。 为 此 ， 我 们 引进 能 机 运动 分 辩 率 的 
概念 。 所 谓 能 机 运动 分 辨 率 ， 就 是 指 在 能 机 运动 过 程 中 可 以 精确 控制 的 最 小 转动 角度 。 本 书 
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中 ,将 ~ 舵 机 转动 的 有 效 范围 0° ~ 180° 分 成 200 份 ， 每 一 份 为 0.9%"， 即 舵 机 的 转动 分 辩 率 是 
0. 9" 。 对 于 分 辨 率 的 示意 图 如 图 4-9 所 示 。 由 图 可 以 看 到 ， 所 谓 的 运动 分 辨 率 就 是 把 一 个 完 
整 的 动作 周期 分 割 开 来 ， 每 一 次 给 舵 机 发 送 的 脉冲 都 比 前 一 个 脉冲 多 一 点 或 者 少 一 点 ， 这 样 
达到 的 效果 就 是 舵 机 可 以 分 步 的 由 一 个 位 置 转 劲 到 另 一 个 位 置 ， 而 不 是 一 下 子 就 到 达 。 这 样 
做 可 以 提高 舵 机 的 控制 精度 ， 并 可 在 舵 机 转动 的 过 程 中 添加 例如 速度 调节 等 其 他 控制 。 


第 一 个 周期 "号 能 机 ， 脉 冲 TE 
第 二 个 周期 4 号 舵 机 ， 脉 促 | 
第 三 个 周期 号 舵 机 ， 脉 冲 a 


第 四 个 周期 号 舵 机 ， 脉 冲 



































时 间 /ms 








图 4-9 ” 舵 机 运动 分 辨 率 示意 图 





2. 舵 机 运动 的 速度 控制 

在 引入 舵 机 运动 分 辩 率 的 概念 之 后 ， 就 可 以 进行 能 机 转速 控制 。 对 于 转速 的 控制 ， 有 以 
下 两 种 方案 可 供 选择 。 

第 一 种 方案 是 用 延 时 的 方式 来 调节 速度 ， 即 在 通 机 的 两 个 控制 脉冲 之 间 添 加 延 时 程序 ， 
延 时 时 间 的 长 短视 所 要 求 的 速度 等 级 而 定 。 用 此 方案 调节 舵 机 转动 的 速度 ， 优 点 在 于 实现 简 
单 ， 经 过 调 速 后 能 机 转动 较为 平滑 ， 可 以 达到 调 速 的 要 求 。 而 缺点 是 按照 这 个 方法 进行 能 机 
的 速度 调节 ， 所 得 到 的 速度 最 大 值 固定 不 可 更 改 。 因 为 此 种 调 速 方法 是 通过 时 间 延 时 来 实现 
的 ， 即 采用 这 样 的 方法 控制 速度 ， 所 能 达到 的 最 快速 度 为 无 延 时 的 速度 。 为 保证 能 机 的 精确 
控制 ， 通 机 的 运动 分 辩 率 会 很 小 ， 这 样 一 来 能 机 的 速度 最 大 值 就 不 会 很 高 ， 因 此 这 种 调 速 方 
案 限 制 性 很 大 ， 不 能 满足 情感 机 器 人 的 运动 控制 需求 。 

第 二 种 方案 是 去 掉 延 时 ， 通 过 改变 舵 机 的 运动 步 长 进而 改变 舵 机 的 转动 速度 ， 其 原理 如 
图 4-10 所 示 。 从 图 4-10 中 可 以 看 出 ， 速 度 n+1 的 脉 串 增幅 明显 小 于 速度 n+2 的 脉 串 增 
幅 ， 舵 机 转动 同样 角度 ， 如 果 用 速度 ”+ 1 的 脉冲 来 实现 ， 由 于 其 脉冲 的 增幅 小 ， 所 以 耗 时 
较 长 ， 速 度 较 慢 。 如 果 用 速度 n+2 的 脉冲 来 实现 ， 由 于 其 脉 串 增幅 大 ， 所 以 耗 时 较 短 ， 束 
度 较 快 。 通 过 调节 脉 串 增幅 的 大 小 ， 就 可 以 使 得 舵 机 以 不 同 的 速度 值 转动 。 此 种 方案 速度 最 
大 值 与 最 小 值 均 固定 ， 最 小 值 为 增幅 量 等 同 通 机 运动 分 辩 率 值 时 的 速度 。 最 大 值 等 同 于 舵 机 
本 身 所 能 达到 的 速度 值 。 最 大 值 与 最 小 值 之 间 的 速度 值 可 以 通过 改变 不 同 的 控制 脉冲 增幅 量 
来 达到 。 用 这 种 方案 调节 舵 机 运动 的 速度 与 第 一 种 方案 相 比 ， 优 点 是 显而易见 的 。 不 过 这 种 
方案 也 存在 一 个 问题 ， 就 是 在 脉冲 增幅 过 大 的 时 候 ， 舵 机 会 出 现 轻微 的 抖动 ， 或 者 可 以 说 会 
出 现 转动 毛刺 。 

总 的 来 说 ,第 二 种 方案 优 于 第 一 种 方案 ， 因 此 ， 情 感 机 器 人 速度 控制 选用 第 二 种 方案 。 
根据 实际 情况 ， 我 们 可 以 把 舵 机 的 速度 分 为 7 级 ， 由 1 ~7 级 ， 速 度 依次 递增 。 第 7 级 的 束 
度 与 能 机 直接 给 予 脉冲 时 的 速度 相仿 。 
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第 一 个 周期 "号 能 机 ， 脉 冲 五 
第 二 个 周期 "号 能 机 ， 脉 冲 一 

第 三 个 周期 "号 能 机 ， 脉 冲 证 | 

第 四 个 周期 "号 能 机 ， 肪 训 让 二 | 


速度 n+1 控 制 示 意图 时 间 /ms 


第 一 个 周期 ”号 能 机 ， 脉 冲 | 
第 二 个 周期 "号 能 机 ， 脉 冲 国内 

第 三 个 周期 "号 能 机 ， 脉 冲 

第 四 个 周期 "号 能 机 ， 肪 冲 = 


速度 +2 控制 示意 图 时 间 /ms” 























到 4-10 舵 机 速度 控制 示意 医 














3. 舵 机 运动 控制 脉冲 发 送 规律 

在 研究 过 程 的 初期 ， 采 用 的 方法 是 同时 给 多 台 舵 机 发 送 控制 脉冲 ， 这 是 最 容易 想到 的 ， 
也 是 最 容易 实现 的 一 种 脉冲 发 送 方式 ， 根 据 每 个 能 机 不 同 的 转动 角度 ， 控 制 与 能 机 相对 应 的 
脉冲 高 电 平 在 不 同 的 时 间 截 止 ， 控 制 脉 冲 发 送 方式 如 图 4-11 所 示 。 


第 一 台 舵 机 控制 脉冲 [Ee 到 | 站 
第 二 台 舵 机 控制 脉冲 加 | | 














第 十 六 全 舵 机 控制 脉冲 ER | ce 
第 十 七 合 舵 机 控制 脉冲 站 圆 


20 时 间 /ms 


到 4-11 第 一 阶段 控制 脉冲 示意 区 
































这 种 方法 易 实 现 ， 也 很 容易 想到 ， 如 果 通 机 上 只 是 转动 一 个 周期 的 话 ， 这 种 脉冲 发 送 方面 
无 疑 是 最 简单 且 最 实用 的 。 而 实际 的 情感 机 器 人 脉冲 控制 是 一 个 很 复杂 的 过 程 ， 在 多 周期 、 
多 动作 参数 的 情况 下 ， 这 种 方法 就 不 能 达到 预期 的 控制 要 求 了 。 原 因 是 采用 此 种 方法 来 达到 
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预期 的 控制 要 求 ， 所 涉及 的 变量 太 多 ， 控 制 运算 也 很 复杂 。 

下 面 所 要 介绍 的 舵 机 控制 脉冲 发 送 方 式 ， 经 实验 证 明 是 一 种 比较 简单 而 且 容 易 实 现 的 方 
法 。 如 图 4-12 所 示 ， 舵 机 控制 脉冲 由 1 号 舵 机 至 17 号 舵 机 顺 次 发 送 。 这 里 所 谓 的 顺 次 发 送 
舵 机 的 控制 脉冲 ， 并 不 是 指 前 一 个 舵 机 的 控制 脉冲 发 送 完 毕 之 后 再 发 送 下 一 个 舵 机 的 控制 肪 
冲 ， 而 是 如 图 4-12 所 示 的 那样 ， 当 前 一 个 舵 机 的 控制 脉冲 高 电 平 截止 之 后 紧 接着 就 发 送 下 
一 个 能 机 的 控制 脉冲 高 电 平 ， 这 样 依次 排列 下 来 ， 当 第 17 人 台 舵 机 的 控制 脉冲 高 电 平 截止 之 
后 ,开始 执行 数据 处 理 和 位 置 判 断 等 函数 。 等 舵 机 的 运动 处 理 程序 执行 完毕 之 后 ， 再 重新 轮 
回 依 次 输出 下 一 个 周期 的 17 台 舵 机 的 控制 脉冲 。 这 种 脉冲 发 送 方式 实现 起 来 同样 很 简单 ， 
而 且 运 动 后 期 处 理 不 是 很 复杂 ， 可 以 较 好 地 实现 。 


第 一 台 舵 机 控制 脉冲 站 
第 二 人 台 能 机 控制 脉冲 El 










































































第 n 合 舵 机 控制 脉冲 Ee |= 
第 x+1 人 台 舵 机 控制 脉冲 EE 


20 时 间 (ms) 














图 4-12 第 二 阶段 控制 脉冲 示意 图 


不 过 这 种 方法 存在 一 个 问题 ， 即 这 样 输出 舵 机 的 控制 脉冲 后 ， 舵 机 的 脉冲 周期 有 可 能 会 
大 于 舵 机 的 标准 周期 20ms。 现 在 就 来 分 析 一 下 此 问题 产生 的 原因 。 首 先 假设 每 一 个 舵 机 控 
制 脉冲 的 高 电 平 宽度 均 为 舵 机 有 效 高 电 平 宽度 的 最 大 值 2. 3ms。 这 样 按照 所 采用 的 脉冲 发 送 
方式 可 以 计算 出 第 一 台 舵 机 的 脉冲 周期 最 大 值 可 以 达到 |: 
2.3ms x17 = 39. 1ms (4-1) 
男 一 方面 ， 如 果 每 一 个 艇 机 的 高 电 平 脉冲 宽度 均 为 舵 机 有 效 宽度 的 最 小 值 0. 7ms。 这 样 
按照 所 采用 的 脉冲 发 送 方 式 可 以 计算 出 第 一 台 艇 机 的 脉冲 周期 最 小 可 以 达到 |: 
0.7ms x17 = 11.9mas (4-2) 
由 于 数据 处 理 及 判断 函数 所 需 时 间 很 得 ， 也 就 是 在 ps 级 别 ， 所 以 可 以 忽略 。 从 式 (4-1) 
和 (4-2) 计算 可 知 ， 如 果 采 用 顺 次 发 送 控制 脉冲 的 方法 ,理论 上 一 台 舵 机 脉冲 周期 的 长 度 
在 11.9 ~39.1ms 之 间 ， 并 不 是 固定 不 变 的 20ms。 但 是 这 只 是 理论 上 的 计算 ， 实 际 上 情感 机 
器 人 的 整体 运动 规律 ， 不 可 能 每 个 能 机 都 是 0? 或 者 都 是 180" ， 所 以 在 实际 运动 过 程 中 ， 每 
个 舵 机 的 周期 宽度 基本 在 20ms 左右 变化 的 。 由 KRS-784 ICS 型 号 舵 机 的 技术 参数 可 知 ， 
脉冲 周期 宽度 在 8 ~20ms 之 间 都 是 符合 其 运动 要 求 的 ， 而 对 于 脉冲 周期 宽度 超过 了 20ms 的 
情况 ， 则 会 出 现 这 样 的 现象 ， 就 是 周期 宽度 超过 20ms 的 部 分 ， 能 机 是 处 于 不 受 力 状态 
的 ， 也 就 是 说 能 机 将 会 有 几 个 毫秒 处 于 无 力 抢 状态。 但 是 对 于 整个 机 器 人 运动 来 说 ， 几 个 训 
秒 的 无 力矩 状态 ， 机 器 人 的 机 械 结构 是 不 能 反映 出 来 的 ， 也 就 是 虽然 处 于 无 力矩 状态 ， 但 是 
还 没有 等 机 器 人 的 机 械 结 构 有 什么 动作 ,这儿 个 毫秒 的 时 间 已 经 过 去 了 ， 下 一 个 运动 脉冲 已 
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经 到 达 。 因 此 ， 顺 次 给 17 台 舵 机 发 送 脉冲 的 过 程 中 ， 无 论 是 周期 宽度 不 足 20ms 的 脉冲 还 是 
周期 超过 20ms 的 脉冲 ， 对 整个 机 器 人 的 具体 动作 都 没有 实质 性 的 影响 。 在 实际 的 舵 机 脉冲 
发 送 过 程 中 ， 我 们 采用 了 顺 次 发 送 脉冲 的 方法 ， 经 实验 证 明 ， 此 种 方法 是 完全 可 行 而 且 可 
靠 的 。 

4. 舵 机 运动 方向 控制 

在 舵 机 控制 中 ， 每 个 舵 机 的 初始 位 置 、 目 标 位 置 都 不 尽 相 同 ， 每 个 舵 机 的 转动 方向 也 按 
照 运 动 数据 的 要 求 有 所 区 别 。 要 想 让 舵 机 按照 预定 的 动作 转动 ， 舵 机 转动 方向 的 正确 判断 是 
一 个 很 重要 的 因素 。 在 情感 机 器 人 控制 系统 中 ， 每 一 个 舵 机 都 有 相应 的 方向 判断 函数 ， 且 每 
一 个 判断 函数 都 是 相互 独立 的 。 这 样 ， 每 个 舵 机 的 运动 也 相应 比较 独立 ， 运 动 更 加 灵活 ， 不 
会 受到 其 他 舵 机 运动 状态 的 干扰 。 

舵 机 运动 方向 判断 函数 共 17 组 ， 同 17 台 舵 机 一 一 对 应 ， 其 判断 顺序 同 脉冲 发 送 顺序 一 
样 顺 次 排列 ， 即 17 台 舵 机 的 控制 脉冲 发 送 完 毕 后 先 执 行 第 1 号 舱 机 方向 判断 函数 ， 然 后 是 
第 2 号 能 机 ， 一 直到 第 17 号 舵 机 判断 函数 。 舵 机 方向 判断 函数 所 完成 的 任务 是 : 首先 判断 
舵 机 是 否 转动 到 了 目标 位 置 ， 如 果 没 有 转动 到 ， 则 下 一 个 周期 继续 转动 ， 舵 机 转动 方向 不 
变 ; 如 果 已 转动 到 指定 的 目标 位 置 ， 则 判断 下 一 个 周期 舵 机 的 转动 方向 。 判 断 方法 是 将 本 周 
期 舵 机 的 目标 位 置 值 和 下 一 个 周期 的 舵 机 目标 位 置 值 相 比较 ， 如 果 前 者 大 于 后 者 ， 则 下 一 个 
周期 舵 机 的 转动 方向 为 负 方 向 ; 反之 则 为 正方 向 ， 这 里 所 谓 的 正 负 方向 是 相对 于 当前 转动 方 
回 而 言 的 。 

5. 舵 机 到 达 目 标 位 置 判 断 

在 情感 机 器 人 舵 机 控制 过 程 中 ， 舵 机 是 否 转 动 到 指定 的 目标 位 置 是 一 个 很 关键 的 问题 ， 
直接 关系 到 情感 机 器 人 是 否 能 够 高 质量 地 完成 指定 动作 。 能 机 转动 的 目标 位 置 通常 用 一 个 数 
值 表示 ， 它 是 通过 前 面 能 机 速度 分 辩 率 计算 出 来 的 。 在 本 书 中 能 机 在 0" 时 的 位 置 值 定义 为 
0，180* 时 的 位 置 值 定义 为 200， 舵 机 位 置 与 其 定义 的 数值 呈 线 性 关系 ， 由 此 可 知 ， 当 位 置 
值 是 100 的 时 候 ， 对 应 的 舵 机 位 置 是 90"。 舵 机 控制 脉冲 高 电 平 的 宽度 也 是 用 数值 来 衡量 
的 ， 并 且 所 定义 的 数值 和 舵 机 位 置 所 定义 的 数值 一 一 对 应 ， 对 应 的 依据 就 是 两 种 数值 都 可 以 
换算 成 相应 的 角度 值 。 例 如 ， 舵 机 位 置 为 90* 的 时 候 定义 的 数值 为 90， 则 与 之 相对 的 舵 机 
90° 时 的 脉冲 高 电 平 宽度 所 定义 的 数值 也 为 90， 这 样 描述 舵 机 位 置 的 数值 和 描述 脉冲 高 电 平 
宽度 的 数值 得 到 了 统一 ， 通 过 判断 脉冲 高 电 平 宽度 数值 与 舵 机 目标 位 置 数值 的 大 小 关系 便 可 
以 确定 舵 机 是 否 转动 到 了 目标 位 置 。 

前 面 判断 的 是 单个 舵 机 是 否 达 到 指定 位 置 ， 所 有 动作 都 是 需要 17 台 舵 机 来 协调 配合 ， 
对 于 同一 个 运动 周期 来 说 ， 每 个 舵 机 的 转动 角度 并 不 相同 ， 也 就 是 当 所 有 的 舵 机 同时 转动 所 
达到 各 自 目 标 位 置 的 时 间 不 同 。 舵 机 的 控制 脉冲 发 送 并 不 是 能 机 转动 到 目标 位 置 之 后 就 立即 
发 送 下 一 组 运动 数据 控制 脉冲 ， 而 是 17 台 舵 机 均 达 到 指定 的 目标 位 置 之 后 ， 才 统一 发 送 下 
一 组 控制 脉冲 。 为 使 17 台 舵 机 在 下 一 个 周期 开始 的 时 候 能 够 依然 同时 转动 ， 需 要 在 程序 中 
设立 一 个 标志 位 。 当 单个 舵 机 转动 到 目标 位 置 的 时 候 ， 标 志 位 的 值 为 0， 当 17 台 舵 机 均 转 
动 到 目标 位 置 时 ， 标 志 位 的 值 置 1， 此 时 机 器 人 执行 下 一 个 动作 运动 数据 ， 同 时 发 送 相应 的 
控制 脉冲 ， 这 样 就 保证 了 舵 机 运动 的 整体 性 和 规律 性 。 
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4.4 舵 机 在 情感 机 器 人 中 的 应 用 


4.4.1 下 位 机 控制 


下 位 机 采用 性 价 比 很 高 的 PIC16F877A 单片机 蕊 片 。 下 位 机 电路 在 接收 到 上 位 机 动作 
指令 号 后 ,通过 必要 的 外 围 电路 驱动 电动 机 进行 运动 控制 。 这 部 分 硬件 电路 主要 包括 
LPC2132 微 控制 器 及 上 电 /按键 复 位 电路 、 品 振 电路 等 基本 外 围 模 块 、 电 源 模 块 、 串 口 通 
信和 模块 、 舵 机 接口 电路 、 无 线 串 口 通信 接口 和 大 容量 串 行 E2PROM 等 。 本 部 分 电路 板 如 
图 4-13 所 示 。 





图 4-13 多 路 舵 机 控制 板 





4.4.2 上 位 机 控制 软件 


上 位 机 控制 软件 由 北京 科技 大 学 机 器 人 研究 课题 小 组 独立 开发 ， 本 部 分 上 位 机 软件 的 作 
用 是 生成 机 器 人 的 运动 数据 ， 并 对 机 器 人 的 运动 数据 进行 传输 和 编辑 。 其 主 界面 如 图 4-14 
所 示 。 

控制 软件 的 主 界面 可 以 分 为 以 下 几 个 区 域 : 菜单 控制 区 ， 速 度 控制 区 ， 同 步 选择 控制 
区 ， 舵 机 微调 控制 区 ， 数 据 发 送 控制 区 ， 运 动 数 据 显 示 区 以 及 功能 控制 区 等 。 在 菜单 控制 模 
块 中 有 一 个 初始 位 置 设 定 菜单 ， 点 击 后 出 现 的 子 菜单 如 图 4-15 所 示 。 

其 中 ， 三 个 子 菜单 对 应 机 器 人 初始 化 位 置 控制 的 三 个 选项 。 通 过 设置 初始 化 位 置 子 
菜单 ， 可 以 设置 机 器 人 上 电 后 的 初始 化 位 置 。 点 击 浏览 按钮 后 ， 就 可 以 把 要 加 载 的 机 顺 
人 运动 数据 读 取出 来 ， 点 击发 送 按钮 ， 则 控制 软件 开始 向 机 电 综合 平台 发 送 数据 。 如 果 
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图 4-14 ”控制 软件 主 界面 
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图 4-15 初始 化 菜单 示意 图 





数据 传输 成 功 ， 点 击 确定 之 后 ， 点 击 运行 按钮 ， 机 电 综 合 平台 就 可 以 按照 传输 的 数据 进 
行动 作 了 。 

此 外 ， 软 件 还 可 以 对 数据 进行 微调 。 在 舵 机 微调 控制 区 选择 其 中 的 一 组 数据 ， 双 击 之 
后 ， 这 组 数据 就 可 以 在 上 面 的 各 个 滑动 块 中 体现 出 来 。 通 过 拉动 滑动 块 ， 可 以 改变 每 个 CHx 
对 应 的 数据 ， 调 整 完 毕 后 点 击 修改 按钮 就 可 以 把 改动 的 数据 重新 保存 到 原来 的 位 置 。 界 面 上 
方 有 一 个 同步 的 选项 ， 有 ON 和 OFF 两 个 选项 ， 如 果 选 OFF 选项 ， 点 击发 送 按钮 将 调整 后 
的 数据 发 送 ， 但 此 组 数据 并 不 执行 。 如 果 选 择 ON 选项 ， 则 在 滚动 条 调整 数据 的 时 候 ， 多 路 
舵 机 控制 板 就 可 以 控制 舵 机 转动 ， 从 而 使 表情 机 器 人 同步 的 作出 相应 动作 ， 也 就 是 可 以 实时 
显示 微调 结果 。 

随 着 机 器 人 动作 数量 的 增加 ， 如 果 按 照 上 面 介绍 的 方法 对 动作 数据 进行 一 一 传送 的 话 ， 
会 使 工作 量 又 增 ， 而 且 不 利于 对 动作 的 整体 把 握 。 因 此 ， 我 们 在 上 位 机 软件 中 增加 了 动作 编 
排 。 动 作 编 排 的 操作 菜单 如 图 4-16 所 示 。 

动作 顺序 编排 的 界面 如 图 4-17 所 示 ， 图 中 可 以 看 出 ， 最 多 可 以 同时 编排 20 组 动作 进行 
传送 。 假 设 我 们 存 取 机 器 人 动作 数据 时 的 顺序 为 1) 点 头 ; 2) 皮 眼 ; 3) 皱眉 ; 4) 左 转 
头 ; 5) 右 转 头 ; 6) 向 右 看 ; 7) 向 左 看 ; 8) 向 上 看 ， 若 现在 想 让 它 执行 6) 向 右 看 一 一 
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图 4-16 动作 编排 菜单 


1) 点 头 一 一 7) 向 左 看 一 一 4) 左 转 头 ， 则 依次 点 击 动作 6、 动作 1、 动作 7、 动作 4 即 可 ， 
此 时 ， 我 们 会 注意 到 右边 框 里 1 一 4 中 的 数据 也 发 生 了 改变 。1 一 4 对 应 的 数据 变 成 为 6、1、 
7、4， 点 击 确定 后 返回 主 界面 ， 再 点 击 顺序 ， 即 可 按 要 求 运行 。 至 此 ， 我 们 就 可 以 看 到 情感 
机 器 人 的 各 种 表情 ， 本 章 开 始 部 分 已 截取 部 分 表情 图 片 ， 当 然 我 们 也 可 以 通过 修改 或 者 扩展 
得 到 更 多 的 表情 和 动作 。 
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妈 4-17 ”动作 执行 顺序 编排 界面 (初始 ) 
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第 5 重 机 瘟 视 党 


俗话 说 “ 百 闻 不 如 一 见 ”"”， 有 眼睛 感知 到 的 信息 对 认 知 有 着 非常 大 的 帮助 。 让 计算 机 或 者 
机 器 人 具有 视觉 ， 能 够 感知 和 处 理 所 接 收 到 的 信息 ， 是 人 类 多 年 以 来 的 梦想 。 计 算 机 视觉 
(也 称 为 机 器 视觉 ) 除了 包括 对 视觉 信息 的 获取 、 传 输 、 处 理 以 及 存储 以 外 ， 还 包括 视觉 知 
识 理解 。 研 究 者 们 通常 通过 机 器 视觉 产品 〈 即 图 像 摄取 装置 ， 可 分 为 CMOS 和 CCD 两 种 ) 
将 被 摄取 目标 转换 成 图 像 信 号 ， 传 送 给 专用 的 图 像 处 理 系统 ， 根 据 像素 分 布 和 亮度 、 颜 色 等 
信息 ， 转 变 成 数字 化 信号 ; 图 像 系统 对 这 些 信 号 进行 各 种 运算 来 抽取 目标 的 特征 ， 进 而 根据 
判别 的 结果 来 控制 现场 的 设备 动作 。 

本 章 首 先 介绍 了 计算 机 视觉 的 基础 知识 、 相 关 技 术 以 及 应 用 范围 ， 然 后 主要 介绍 机 器 视 
觉 在 双 摄像 机 视线 追踪 系统 中 的 应 用 ， 涉 及 视线 追踪 及 标定 、 摄 像 机 标定 等 技术 。 图 5-1 所 
示 为 双 摄 像 机 追踪 系统 的 原理 图 和 实物 图 。 
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图 5-1 双 摄 像 机 追踪 系统 的 原理 图 和 实物 图 














5.1 机 器 视觉 概述 


5.1.1 Marr 的 计算 机 视觉 理论 框架 


机 器 视觉 并 不 是 一 个 独立 的 研究 课题 ， 需 要 综合 运用 其 他 多 个 学 科 的 知识 ， 如 计算 机 科 
学 、 认 知 学 、 生 命 科学 、 心 理学 甚至 社会 学 等 众多 学 科 的 知识 。20 世纪 80 年 代 初 ， 英 国 的 
D. Marr 首次 从 信息 处 理 的 角度 综合 了 图 像 处 理 、 心 理 物理 学 、 神 经 生理 学 及 临床 精神 病 学 
的 研究 成 果 ， 提 出 了 第 一 个 较为 完善 的 视觉 系统 框架 ， 这 一 框架 虽然 在 细节 甚至 在 主导 思想 
方面 尚 存在 大 量 不 完备 的 方面 ， 但 仍然 是 广大 研究 者 们 所 接受 的 基本 框架 。 

D. Marr 从 信息 处 理 系统 的 角度 出 发 ， 认 为 对 此 系统 的 研究 应 分 为 三 个 层次 ， 即 计算 理 

论 层次 、 表 达 与 算法 层次 、 硬 件 实 现 层次 。 分 别 解决 的 问题 是 各 部 分 的 输入 输出 是 什么 以 及 
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之 间 的 关系 ， 各 模块 输入 输出 与 内 部 的 信息 表达 以 及 实现 计算 理论 所 规定 的 目标 的 算法 ， 如 
何 用 硬件 实现 以 上 算法 三 大 问题 。 


5.1.2 应 用 范围 及 前 景 


正 是 由 于 计算 机 视觉 学 科 不 是 单独 的 一 门 学 科 ， 因 此 它 有 许多 有 趣 的 研究 方向 吸引 着 不 
少 研究 者 们 ， 这 些 研究 包括 底层 图 像 处 理 、 图 像 分 割 、 图 像 分 类 、 物 体 识 别 、 物 体 跟踪 、 立 
体 视觉 等 。 

计算 机 视觉 的 应 用 前 景 也 是 非常 丰富 的 ， 无 论 从 前 沿 的 高 科技 产品 还 是 我 们 的 日 常生 活 
中 ， 都 有 可 能 看 到 计算 机 视觉 技术 的 影子 ， 例 如 自然 图 像 检索 ， 航 拍 图 像 处 理 ， 人 脸 识别 ， 
工业 控制 ， 次 品 检测 ， 医 学 图 像 处 理 和 视频 监控 等 。 在 我 们 的 情感 机 器 人 系统 中 ， 计 算 机 视 
觉 技术 更 是 发 挥 了 不 可 替代 的 重要 作用 。 下 面 主要 介绍 一 下 一 类 机 器 视觉 系统 标定 系统 的 
实现 。 


5.2 ”机 器 视觉 系统 标定 算 ; 


摄像 机 视线 追踪 系统 是 机 器 视觉 的 一 个 重要 应 用 方向 ， 在 人 与 情感 机 器 人 交流 的 过 程 
中 ， 机 器 人 需要 采集 到 人 的 一 些 信息 才能 做 出 合适 的 反应 ， 在 摄像 机 视线 追踪 系统 中 ， 我 们 
通常 采用 双 摄像 机 标定 ， 下 面 我 们 对 机 器 视觉 中 的 摄像 机 标定 算法 进行 介绍 。 


5.2.1 角 点 提取 


模型 标定 平面 模板 中 图 像 角 点 的 提取 : 用 激光 打印 机 打印 一 张 7 x7 个 正方 形 的 平面 图 
像 作 为 标定 模板 。 取 每 个 正方 形 的 顶点 作为 特征 点 ， 所 提取 特征 点 需要 通过 精确 的 角 点 检测 
算法 实现 。 


5.2.2 SUSAN 算法 原理 


角 点 是 图 像 中 重要 的 纹理 特征 ， 它 是 表征 图 像 边界 上 曲率 突变 的 点 ， 在 图 像 匹 配 、 目 标 
识别 与 跟踪 、 运 动 估 计 中 均 有 重要 的 应 用 。SUSAN 算法 是 基于 图 像 灰 度 信息 的 角 点 检测 算 
法 ， 它 提出 了 吸收 核 同 值 区 的 概念 ， 即 在 图 像 上 移动 圆 形 模板 ， 帮 模板 内 的 像素 灰 度 与 模板 
中 心 的 像素 灰 度 差 值 小 于 给 定 的 门限 ， 则 认为 该 点 与 中 心 点 是 同 值 的 ， 而 由 满足 这 样 条 件 的 
像素 组 成 的 区 域 则 叫做 吸收 核 同 值 区 (Univalue Segment Assimilating Nucleus，USAN ) 。SU- 
SAN 角 点 检测 算法 的 核心 思想 是 平坦 区 域 像 素 点 的 USAN 值 最 大 ， 边 界 点 次 之 ， 角 点 最 小 ; 
而 且 角 点 越 尖 ， 吸 收 核 同 值 区 越 小 。 因 此 通过 设 定 灰 度 阔 值 和 USAN 面积 阔 值 ， 可 判断 角 点 
位 置 ，USAN 面积 阔 值 可 以 通过 下 面 的 方法 进行 设 定 。 

首先 ， 设 置 一 个 判别 函数 来 判断 模板 中 的 像素 是 否 属于 USAN 区 域 。 常 用 的 判别 函数 
如 下 : 







































































ee 1,|7(7) -717n)|<t 
| (5-1) 


c(r,r)= 
0,if|7(7) -17m) | >t 
其 中 ，m 是 模板 中 心 点 的 位 置 ，r 是 圆 形 窗 内 其 他 任 一 点 的 位 置 ，1(7) 表示 图 像 灰 度 











75 


值 , 大 则 是 预 设 的 灰 度 阀 值 ，。 叫做 相似 比较 函数 ， 是 输出 的 判别 值 。 
其 次 ， 利 用 下 式 统计 USAN 区 域 面积 的 大 小 。 
n(m) = Per,7m) (53-2) 


再 次 ， 利 用 下 式 比较 SUSAN 区 域 面 积 上 和 预 设 的 几何 效 值 g 的 大 小 ， 确 定 图 像 的 边缘 。 














人 no ,于 ro 
RCF) -ff n(ro) 0 ) <g 人 
0, mro) 三 8 
其 中 , R (7) 表示 图 像 边缘 响应 。 在 进行 图 像 边缘 信息 提取 时 ，g 的 取 值 要 大 一 些 ， 
一 般 设置 为 3n,,/A4，ns 是 能 取得 的 最 大 值 。 
最 后 ， 搜 索 初 始 边缘 响应 中 的 局 部 最 大 值 ， 将 其 对 应 的 像素 点 标记 为 角 点 。 
5.2.3 改进 的 SUSAN 算法 
为 减少 图 像 遍历 时 的 运算 量 ， 需 要 先 对 模板 图 像 进行 有 针对 性 的 预 处 理 。 角 点 一 定 是 边 
缘 点 ， 先 用 canny 边缘 检测 算 子 对 灰 度 图 像 进行 边缘 检测 ， 获 得 边缘 点 的 位 置 ; 图 像 的 孤立 
点 是 伪 角 点 ， 在 对 灰 度 图 像 进行 边缘 检测 后 ， 对 边缘 空间 使 用 滤波 窗口 滤 除 孤立 噪声 点 ， 进 
行 伪 角 点 的 排除 。 对 SUSAN 算法 的 改进 主要 有 如 下 两 个 方面 : 


























1) 对 边缘 点 利用 USAN 原理 检测 角 点 。 为 了 获得 更 加 稳定 、 有 效 的 信息 检测 ， 应 实现 
国 值 和 比较 函数 的 自 适 应 选取 。 用 下 式 作为 比较 函数 。 


训 1(7) ny 


c (7, 1)=e (5-4) 
通过 制作 正方 形 面积 不 同 的 模板 获得 灰 度 值 和 对 比 度 不 同 的 图 像 ， 经 过 分 析 ， 不 同 对 比 
度 下 t 的 自 适应 灰 度 阔 值 应 满足 
1 =k x255 (5-5) 
大 量 的 实验 表明 ,1 的 取 值 在 占 到 灰 度 绝对 差 值 20% ~ 30% 的 时 候 ， 能 够 较 好 地 提取 不 
同 对 比 度 下 的 角 点 特征 ， 比 例 系数 一 般 取 0.20 ~0. 30。 
2) 角 点 检测 精度 决定 了 摄像 机 的 标定 精度 ， 因 此 应 求 得 角 点 的 亚 像 素 空间 坐标 。 对 于 
灰 度 图 像 ， 其 像素 的 亚 像素 空间 坐标 可 根据 像素 的 灰 度 值 求 取 二 维 占 空 比 来 获得 。 一 种 比较 
简单 的 算法 是 通过 a = v (255 -g) /255 ( 8 表示 该 像素 的 灰 度 值 ) 来 计算 空间 像素 增 量 V: 
当 w=0 或 w=1 时 ,V=0.5; 当 0<a<0.5 时 , y=t; 当 0.3<w<1 时 ,VY=1l1-aw。 如 像素 
坐标 (2，3) 点 的 灰 度 值 为 220， 则 其 增 量 为 〈0.370，0.370 ) ， 亚 像素 空间 坐标 为 
(2.370, 3. 370 ) 。 


5.2.4 标定 算法 


成 像 模型 的 求解 步骤 为 : 先 求 解 线性 方程 组 得 出 投影 矩阵 M， 再 由 投影 矩阵 元 素 之 间 
的 约束 关系 分 解 出 内 外 参数 ， 最 后 求 出 畸变 系数 ， 优 化 内 参数 。 在 求解 外 部 参数 时 不 考虑 畸 
变 ， 即 在 =0，h， =0 的 情况 下 求解 线性 方程 。 
当 已 知 半 个 点 的 世界 坐标 和 像素 坐标 ， 则 可 以 联 立 27 个 方程 : 
miX 十 7122Xiui t MaX t+ ma 


u, = (5-6) 


各 
729%iu + 7210XYui + MX 士 7212 
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MsX; + MeXi; 十 MX + ms 





Zi = 
MoXi; + MioXy + MX + ms 


Ko Yo Zo 1 0 0 0 0 -ux -Uy -Uz 
0 0 0 0 x Ya Za 1 -VX 一 yu | 


wi 
即 (5-7) 
5 UM 
[mi |m, m3 14 Ms Me My Me Mo Mio m1] = | 





Zi77212 
令 mi =1。 方程 中 有 11 个 未 知 数 ， 只 要 n 污 6 即 可 解 出 。 一 般 取 方程 数目 远大 于 未 知 
数 数 目 ， 这 时 采用 伪 逆 法 求 该 超 定 方程 得 最 小 二 乘 解 。 








解 得 mi: mi 后 ， 
Ti yi 1 I mm 
fs i 0 es f s wu, 0 i 1 4 
Of wm 0 =0£ rv 0 7? =A m, (5-8) 
ry Te To 1 ye t 
0 0 1 0 0 0 1 0 3 1 1 
0 0 1 。 





由 上 式 可 解 出 摄像 机 的 外 参数 和 不 带 畸 变 的 内 参数 。 由 于 y'， ,是 相互 正 交 的 单 
位 向 量 ， 所 以 有 

















下 
7 6 Re a a a 中 
ee = 
Ly; [a | rn | 
S 一 a (Oy oy 一 52 [nh (5-9) 
3 a a 


t, =L.(ms -v0)/f, st = (tma — uot, -st,)/f, 
带 畸 变 的 内 参数 用 牛顿 迭代 法 求解 优化 ， 初 值 取 线性 计算 结果 ，k, ，h 初 值 为 0。 
5.2.5 空间 点 的 三 维 坐标 
双 摄 像 机 标定 的 作用 是 建立 一 个 统一 的 世界 坐标 系 ， 使 整个 视线 追踪 系统 都 处 于 同一 坐 
标 系 中 ， 我 们 设 定 左 摄像 机 的 光 心 为 世界 坐标 系 的 中 心 。 
设 定 左 摄像 机 0 -xyz 位 于 世界 坐标 系 原 点 且 无 旋转 ， 图 像 坐 标 系 为 0 -部 郧 ， 焦 距 为 放 ， 














有 摄像 机 坐标 系 为 0, -x,y,z,， 图 像 坐 标 系 为 0. -XY,， 焦 距 为 //， 根 据 摄像 机 透视 变换 模型 有 
X] rf 0 0 0]” x] rf 0 0 0 
ij Ce 0 帮 sl- Ed (5-10) 
14- lo 010 i 14- lo 0o 1 0 
0 一 xyz 和 0, 一 x,y,z, 之 间 可 通过 空间 转换 矩阵 相互 表示 : 
xX ee e 
Y= 7 7 bi?), mM= [RIT] (5-11) 
Z ry7 Tse To 1 。 


式 中 ，R, 了 为 0 -xyz 和 0, 一 x,y,z, 之 间 的 旋转 矩阵 和 原点 之 间 的 平移 变换 矢量 。 
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对 于 0 一 xyz 坐标 系 中 的 空间 点 ， 两 摄像 机 所 拍摄 图 像 中 ， 像 点 间 的 对 应 关系 为 
X Fn fr fr fi > a. 
DS, 中 Jr frs fire fits 2 (5-12) 
1 ry rg ro t, ， 
1 
由 此 可 得 空间 点 的 三 维 坐 标 : 
x=zX/f 
y=2zX/f 
_ fft -Xt,) 
Xr XtreX +firo) -f(rX tr Xl +fir) 
(5-13) 


_ CE 一世) 
YY.(rXi+rey +firo) -f(raXi trsX +fire) 
已 知 两 摄像 机 的 内 参数 及 空间 点 在 左右 摄像 机 图 像 中 的 图 像 坐 标 时 ， 即 可 按照 上 述 方法 
得 到 被 测 点 的 三 维 坐标 。 


5.3 ”摄像 机 标定 技术 


情感 机 器 人 的 视觉 系统 从 机 器 人 的 眼睛 ， 即 摄像 机 ， 获 取 图 像 信息 ， 计 算得 到 三 维 环境 物 
体 的 位 置 、 形 状 等 几何 信息 ， 并 由 此 测量 、 识 别 环境 中 的 物体 。 图 像 上 每 一 点 的 亮度 反映 了 空 
间 物 体 表 面 某 点 反射 光 的 强度 ， 而 该 点 在 图 像 上 的 位 置 则 与 空间 物体 表面 相应 点 的 几何 位 置 有 
关 。 这 些 位 置 的 相互 关系 由 摄像 机 成 像 几何 模型 来 决定 。 该 几何 模型 的 参数 称 为 摄像 机 参数 ， 
实验 并 计算 得 到 这 些 参 数 的 过 程 称 为 摄像 机 标定 。 在 对 摄像 机 标定 之 前 ， 必 须 先 确定 摄像 机 的 
模型 ， 称 为 摄像 机 建 模 。 摄 像 机 标定 就 是 对 摄像 机 自身 的 几何 和 光学 特性 有 关 的 参数 ( 称 为 摄 
机 内 部 参数 )， 以 及 它 相 对 于 某 一 世界 坐标 系 的 三 维 位 置 和 方向 称 为 摄像 机 外 部 参数 ) 进行 
确定 。 其 标定 方法 主要 分 为 传统 标定 方法 、 基 于 主动 视觉 的 标定 方法 和 自 标 定 方法 。 

摄像 机 成 像 模 型 是 影响 畸变 精度 的 主要 因素 之 一 ， 在 分 析 了 大 量 的 摄像 机 模型 的 基础 
上 ,采用 一 种 基于 直线 的 摄像 机 镜头 去 畸变 方法 ， 针 对 标定 参数 较 多 的 问题 ， 首 先进 行 畸变 
校正 ， 表 标定 摄像 机 的 内 外 参数 。 在 畸变 校正 的 过 程 中 ,使 用 线性 迭代 方法 ， 有 效 避 免 了 非 
线性 算法 的 初 值 选 择 困难 、 易 于 收敛 于 局 部 极 小 值 等 问题 ， 且 精度 较 高 。 

标定 的 过 程 如 下 : 

1) 拍摄 多 张 不 同 姿态 的 标定 模板 ; 

2) 检测 图 像 相 匹配 的 特征 点 ， 将 坐标 归 一 化 ; 

3) 根据 摄像 机 畸变 模型 进行 校正 ; 

4) 估计 每 张 图 像 的 单 应 性 矩阵 ; 

5) 估计 摄像 机 的 内 外 参数 。 


5.3. 1 摄像 机 成 像 模型 


1. 理想 的 摄像 机 成 像 模 型 
理想 的 无 透视 畸变 成 像 模 型 是 小 孔 成 像 模型 ， 它 是 最 简单 的 摄像 机 成 像 模 型 。 设 空间 一 
















































































78 


点 P(X,，Y，Z)， 其 在 图 像 上 的 透射 投影 为 p(x,y)， 设 /为 摄像 机 焦距 ， 根 据 透射 投影 的 
关系 有 


用 和 矩阵 表示 为 


根据 世界 坐标 系 与 其 在 图 像 上 的 投影 关系 可 得 














X 
l/dx 0 0 0 0 
下， 0 1/d 0 0 | 
有 中 二 》 vo f |o 1| yz 
1 0 0 1JLO 0 ” 
1 

XX 

u A 0 wl 0 0 0 

即 Z 0 f 0 1 0 0 ee 

刘 沁 % [3 Z 

1 0 0 1J0 0 1 0 ” 


考虑 到 读 取 图 像 过 程 中 可 能 会 导致 CCD 敏感 像 元 数 和 缓存 中 像素 数 不 相等 的 情况 ， 定 
义 一 个 比例 因子 * 作为 补偿 。 上 式 最 终 可 表示 为 


不 

u] [As ul 0 0 0 

R TY 

和 F “| 1 0 | os 

ll- Lo 0 1J0 0 1 0 了 

1 
Jf» s§ uo 

ave | 所 

0 0 1 


有 关 。 而 尺 、7 为 摄像 机 外 参数 ， 由 摄像 机 相对 于 | 


世界 坐标 系 的 方位 决定 。 

2. 摄像 机 畸变 模型 

在 实际 应 用 中 ， 由 于 摄像 机 镜头 的 畸变 和 装 
配 误差 等 影响 ， 实 际 得 到 的 图 像 存在 畸变 。 因 此 ， 
在 精度 要 求 高 的 场合 ， 需 要 考虑 图 像 的 畸变 。 图 
像 畸变 通常 包括 径 向 畸变 、 切 向 畸变 和 藩 棱镜 畸 
变 , 图 5-2 所 示 为 理想 无 畸变 图 像 点 位 置 和 有 了 蝴 图 5-2 径 向 畸变 与 切 向 畸变 
变 图 像 点 位 置 之 间 的 关系 。 图 像 点 位 置 之 间 的 关系 


理想 成 像 点 书 





di 实际 成 像 点 Pa 





dr: 径 向 畸变 
df: 切 向 畸变 
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畸变 模型 的 一 般 表 达 式 为 
x 好 Ax, Ax，， Ax， 
ll | 
yi ly Ay, Ays AYy., 

其 中 ，[x，y] "表示 理想 情况 下 的 点 坐标 ，[x，，ya] 表示 存在 畸变 的 点 坐标 。A, 为 径 向 
畸变 ，4, 为 偏心 畸变 中 的 切 向 畸变 ，4, 为 薄 棱 镜 畸 变 。 一 般 来 说 ， 薄 棱镜 畸变 影响 较 小 ， 不 
予 考 虑 。 径 向 畸变 和 切 向 畸变 已 足够 描述 非 线 性 畸变 。 

Ax, =xa( kr + hrs) Ay, =ya( kr + hrs) 


Axy =pi (ry +2x4) +2p2xdya Ays =p2 (7 +274) +2p1xaya 
令 g= [hh， 加， pP1，p;] ，9 为 畸变 参数 向 量 ， 则 上 式 可 写 为 


中 


2 4 2 郊 
Xd7d Xd7d Tq + 2x4 2Xaya 








Xa 


+Ag 








ya 


其 中 4 





2 4 2 
yarTq yara 2Xdya 7d 十 2714 


3. 摄像 机 模型 畸变 参数 

根据 摄像 机 畸变 的 原理 ， 我 们 观察 图 像 发 现 越 远离 图 
像 中 心 图 像 畸 变 越 严 重 ， 一 条 直线 往往 变形 成 类 似 圆 弧 的 
曲线 ， 而 由 摄影 几何 可 知 ， 空 间 直 线 在 像 平 面 的 投影 仍 是 
直线 ， 如 图 5-3 所 示 。 

设 空间 直线 投影 到 像 平面 的 直线 方程 为 vsinb - ycosb + 
p=0， 其 中 ,9 是 直线 与 x 轴 夹 角 , p 为 直线 到 原点 的 距离 。 

设 一 组 空间 直线 投影 到 像 平 面 , 令 J (i=1, 2, …， 
n) 为 含有 投影 直线 的 图 像 ，1; 上 包含 直线 i; (j = 1，2， 图 5-3 空间 直线 投影 到 像 平面 
…，W) ， 直 线 己 上 的 点 为 Pop (oz Yin) (k=1, 2,…， 


















































N') » 直线 /5 与 区 轴 夹 角 为 0,;， 到 原点 距离 Pijo 直线 lj 满足 Xi sinO;; — Yi COs0;; 十 Di =0， 将 
国 | Ax， Axy | 代入 有 有 
二 十 
7 ly Ay, Aya Ah 





a 人 
(Kid 十 Axij +Axixd)singi， 去 (yina + Ayiixr + Ayixa ) cosOi +pi; =0， 令 
Ne 


Si(0,;,pi;,9) = >» [ (wpa + Axii 十 Ax;na ) sing， 3 (Yija + Ayin: + Ayixa ) C0s0; + p;; | 这 


k=1 


样 ， 求 解 摄像 机 畸变 参数 问题 被 转换 为 一 个 求解 无 约束 最 小 值 的 问题 
min >， y Sb ,pg) 


通常 求解 这 类 问题 使 用 非 线性 求解 算法 ， 如 共 斩 梯 度 法 、L-M 法 等 。 非 线性 算法 虽然 
具有 收敛 速度 快 、 精 度 高 等 特点 ， 但 也 存在 着 初始 值 的 选择 困难 等 问题 ， 因 此 选用 了 线性 的 


迄 代 算法 求解 。 上 式 也 可 以 写 为 > 六 (Bq - Ci) =0， 其 中 


i=1 j=1 k=1 
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xiurijidsingi 十 iarijidcos0i 
四 xiaTiiiasingi 二 ioriiiacosDii 
(2xima + rg:) sing, +2%inayiacosO, 
(2xia + ij cosg + 2%i4a)imasinO;; 
Ci = — NiasinO;; + yinacos0;; 一 Di 
我 们 按 以 下 过 程 进 行 迭代 求解 : 
1) 直线 的 初始 特征 点 坐标 【xia(0)，yi(0)]， 初始 化 迭代 次 数 m =0; 
2) 使 用 最 小 二 乘 拟 合 直线 4 的 参数 0.,(n)、pij(n); 
3) 求解 方程 组 ， 得 g(n); 
4) 计算 él(n) =|g(n) -qz-1)1， 如 果 &n) <<， 转 到 6); 
5) n=n+1, 按 式 3) ~5) 计算 (xi(n)，, yin(n))， 转 到 2); 
6) 计算 结束 。 


5. 3. 2 标定 摄像 机 参数 


在 摄像 机 畸变 校正 后 ， 我 们 采用 参考 文献 [11] 中 介绍 的 方法 进行 参数 标定 。 令 模板 
平面 的 Z 坐标 为 零 ， 其 中 旋转 矩阵 可 以 表示 为 R=[" 7 7]， 其 中 7 为 摄像 机 平移 向 量 
则 有 




















u 区 
| 72 73 7] = 天 [六 72 中 | 
了 1 
1 
f» 5s uo 
其 中 中 f, vo 
0 0 1 


H=K [r， 7，7]， 其 中 万 为 单 应 矩阵 。 
仿 H= [hh hh hl, 则 Eh hh hs = AK [In PP 7] 
利用 7 ,Ty 的 正 交 关系 可 以 得 到 





hiK "Kh,=0 
hiK K  =hK "Kh, 
单 应 矩阵 五 有 8 个 自由 度 , 6 个 内 部 参数 ， 但 我 们 现在 只 能 得 到 2 个 约束 方程 。 令 























1 S Vos — Uo f, | 

f° I 

Bl Bs, B's 
大 S 8 1 s( Vos 一 Lo fs ) Vo 
We 2 2 要 le Pe rp 
一 Vos ~ Wo /, y( Vos 一 Lo 矿 ) Vo (vo, 一 Lo /, ) ? vo” 

2 和 2 re2 2 六 2 十 二 2 +1 

os jus 7 ha 轧 」 


注意 到 B 是 对 称 的 ， 所 以 有 : 8 = [Bl Bi Bs Bi Bas Bs]。 令 A; 是 五 矩阵 的 第 J 
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列 ， 可 以 得 到 及 Bhi=w'b， 其 中 
vi = 【hah hahs + hoah hah +hahs hah hahs + hash haha] 
这 样 ，B 可 写 为 


vi 
12 路 = 
(vi — Vy) 


如 果 有 个 单 应 性 矩阵 ， 则 可 得 到 2n 个 约束 ， 显 然 ， 当 n>3 时 ， 可 求 出 65， 根据 4 的 值 和 



































二 Er Vo — Wo fs 
2 2 
B, B, B, fi Ks | 0 
ey, 5 5 s\Vos — Wo, 也 
Pe he 0 Pe A 
4 Vos 一 Wo f, y( Vos 一 Lo £,) Vo (vo, 一 Lo f, ) . vo 
2 2 2 2 六 2 + +1 
f, f, A £5; f, A f, fs = 


可 求 出 摄像 机 的 内 参数 。 
5. 3.3 实验 结果 


1. 模拟 实验 

在 试验 中 ， 设 定 了 摄像 机 参数 [人 ， 5，U0， Vo， ， 刀 ，pP1，ps」 分 别 为 [1000， 
1000,0，320，240，0. 1， 一 0. 1，0. 02，0. 02 ] 、 图 像 分 辩 率 为 640 x 480。 

为 了 验证 本 方法 对 噪声 的 敏感 性 ， 对 各 点 加 入 噪声 [Ax，Ay] ， 单 位 为 像素 ， 噪 声 水 平 
为 (0 ~1.0) 。 按 照 本 章 中 的 摄像 机 标定 方法 ， 在 每 个 噪声 等 级 下 进行 多 次 独立 实验 。 求 得 
每 个 噪声 级 别 下 的 摄像 机 畸变 参数 ， 根 据 求 解 得 到 的 结果 重新 计算 该 点 在 图 像 坐 标 系 下 的 坐 
标 ， 并 与 该 点 的 准确 值 进行 比较 ， 得 到 重 投影 误差 ， 如 图 5-4 所 示 ， 可 以 看 出 ， 根 据 本 方法 
求解 出 的 值 与 真实 值 差别 很 小 。 

















































































































0.02 二 
a 
噪声 0 也 
he | 十 
二 十 证 
于 FE 
六 0.01r 村 
不 Ce 
账 | 和 二 + 十 A + + 
识 + a 十 好 
下 t 
要 or ye + 
a + 
0.01 . 
—0.01 0 0.01 0.02 


水 平方 向 重 投影 误差 /像素 
图 5-4 重 投 影 误差 分 析 


82 









































































































































0.2 T T 
钥 3 
怀 0.1F 人 Et | 
泪 t i 
下 轩 4 书 |+- 圭 洛 a nl 
识 十 十 十 | 
Et ee 二 十 丰 十 下 . 
由 ys 机 种 水 于 结 
到 上 十 十 HH 二 
以 上] 好 
可 Or 人 J 
出 
i 
0.1 lL - 
—0.2 0 0.2 0.3 
水 平方 向 重 投影 误差 /像素 
人 
2.0 T 了 rt 5 十 过 T 让 | 
二 | 
15|| 电 声 10 | | | te 
| ee 十 十 业 
1.0F + SE 和 - 
} pete 于 二 3 了 
a , 了 
ee | Ee 环 
秽 + 二 + 二 
号 ”oF 3 J 
注 |+ ps 
党 十 和 十 
册 -0.5 上 TE | . ] 
二 | {#3 对 
上 尺 汉 测 
图 —1.0r 证 he J 
下 二 
-1.S 上 | | 
基 
2.0 1 上 1 上 1 1 1 
—2.0 -1.5 —1.0 —0.5 0 0.5 1.0 1 和 2.0 


水 平方 向 重 投影 误差 /像素 


图 5-4 重 投影 误差 分 析 ( 续 ) 











从 拍摄 的 20 幅 图 像 中 选择 一 幅 ， 其 模板 如 图 5-5a 所 示 ， 棋 盘 格 角 点 的 图 像 坐标 见 表 5-1。 

































































表 5-1 图 像 中 部 分 直线 上 点 的 图 像 坐标 
直线 1 直线 2 直线 3 线 4 
点 1 557. 4046 ，134. 4815 555. 4156, 183.0299 553. 3464 ，232. 7608 551. 3941 ，281. 2423 





点 2 508. 3970 ，132. 5511 


506. 5975 ，181. 2859 


504. 6472, 231.3164 


502. 5879 ,279. 7635 





点 3 460. 2309 ，130. 6172 


458. 4495 ，179. 5411 


456. 5138 , 229. 6655 


454. 5398 ,278. 5446 





点 4 411.6272, 128. 8442 


、 


409. 8345 ,177. 9986 


407. 9903 ，228. 2517 


406. 0938 ，277. 1896 





点 5 361. 4618 ,126. 6861 


359. 7150 ，176. 0423 


357. 8321 , 226. 5564 


356. 0724 ,275. 7643 





点 6 311. 9529 ，124. 8034 








310. 2505 ,174. 4116 


308. 3936 ，225. 0008 








306. 6555 , 274. 2581 
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图 5-5 拍摄 的 标定 模板 
a) 原始 图 像 b) 去 畸变 后 图 像 


根据 这 些 点 ， 按 照 本 章 中 的 去 畸变 方法 ， 得 到 畸变 参数 见 表 S-2。 
表 5-2 畸变 参数 





结果 0. 110475 0. 100990 0. 005751 0. 008430 


经 过 摄像 机 畸变 校正 得 到 的 摄像 机 内 参数 和 矩阵 为 
f+ 5s uo 1943.55758 -0.00133 381.94224 
天 =| 0 | -| 
0 


0 1936. 63333 283. 35205 





f 
0 1 0 0 1 
针对 图 5-1 中 的 模板 参数 得 到 以 下 甜 阵 
—0.0359 0.9942 0.1018 —53. 108 
[R "| 0.9982 0.0307 0.0519 -stout 
—0.0485 0.1035 -0.9934 618.678 
本 书 提出 此 种 基于 直线 的 摄像 机 镜头 去 畸变 方法 ， 针 对 标定 参数 较 多 的 问题 ， 先 进行 畸 
变 校正 ， 再 标定 摄像 机 的 内 外 参数 。 在 畸变 校正 的 过 程 中 ,使 用 线性 迭代 方法 ， 有 效 避 免 了 
非 线 性 算法 的 初 值 选 择 困难 、 易 于 收敛 于 局 部 最 小 值 等 问题 ， 晶 精度 较 高 。 


5.4” 双 目 追 踪 系 统 的 标定 


大 部 分 基于 瞳孔 一 角膜 反射 技术 的 视线 估计 可 分 基于 二 维 映射 模型 的 视线 佑 计 方 法 和 直 
接 的 三 维 视线 估计 方法 两 类 。 对 于 直接 的 三 维 视线 估计 方法 ， 首 先 要 估计 三 维 的 视线 方向 ， 
然后 通过 视线 方向 和 屏幕 的 交点 即 可 得 到 采 视 点 。 三 维 视线 估计 方法 具有 二 维 视线 估计 不 可 
比拟 的 几 个 优点 ， 但 是 ， 采 用 三 维 视线 估计 方法 要 想 达到 高 精确 性 及 稳定 性 首先 需要 解决 以 
下 几 个 问题 : 

1) 需要 估计 眼睛 特征 点 的 空间 位 置 ; 

2) 需要 对 摄像 机 进行 标定 ; 
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3) 需要 估计 屏幕 和 光源 的 空间 位 置 。 由 于 屏幕 和 光源 对 摄像 机 并 不 可 见 ， 如 何 估计 屏 
幕 及 光源 的 位 置 是 一 难点 。 

为 解决 上 述 问 题 ， 我 们 提出 了 一 种 基于 平面 镜 的 系统 标定 方法 。 首 先 ， 对 双 摄 像 机 进行 
标定 ， 得 到 以 摄像 机 为 中 心 的 世界 坐标 系 ; 其 次 ， 利 用 平面 镜 对 摄像 机 不 可 见 的 屏幕 和 光源 
进行 标定 ， 得 到 像 空 间 坐标 ; 再 通过 平面 镜 的 几何 特性 ， 求 出 屏幕 和 光源 的 真实 空间 坐标 ， 
最 后 利用 最 小 二 乘法 估计 屏幕 平面 。 综 上 ， 我 们 的 标定 方法 包括 以 下 两 步 : 双 摄 像 机 标定 和 
系统 标定 。 三 维 视线 估计 方法 的 准确 性 主要 依赖 于 视线 估计 模型 和 各 特征 点 及 屏幕 的 三 维 坐 
标 。 为 解决 屏幕 及 光源 对 摄像 机 不 可 见 的 问题 ， 本 小 节 使 用 的 基于 平面 镜 的 系统 标定 方法 为 
视线 追踪 系统 计算 视线 方向 计算 提供 了 重要 的 支持 ， 且 其 具有 较 高 的 测量 精度 。 此 方法 可 操 
作 性 较 强 、 精 度 高 ， 不 仅 满足 采用 三 维 视线 估计 方法 的 视线 追踪 系统 ， 也 可 推广 到 所 有 需要 
标定 摄像 机 视野 范围 外 物体 的 立体 视觉 系统 中 去 。 


5. 4.1 双 摄 像 机 标定 


通过 5. 2 节 所 提出 的 标定 算法 分 别 计算 左右 摄像 机 的 参数 及 相互 间 的 关系 ， 转 换 到 以 左 
摄像 机 为 中 心 的 坐标 系 中 。 


5.4.2 ”系统 标定 


使 用 平面 镜 拍 摄 平 面 模板 图 像 ， 求 镜子 平面 及 屏幕 和 光源 在 镜子 中 像 的 三 维 坐标 ; 
通过 求 得 的 空间 点 估计 镜子 平面 及 像 平面 ; 根据 离 差 求 光源 的 像 关 于 镜子 平面 的 对 
称 点 。 

以 图 5-1 所 示 的 系统 为 平台 ， 依 据 本 节 中 的 方法 进行 了 大 量 的 实验 。 

1. 双 摄 像 机 标定 

标定 所 用 图 像 共 20 幅 ， 在 摄像 机 前 多 角度 转动 拍摄 。 所 拍摄 的 标定 图 像 如 图 5-6 所 示 ， 
我 们 设 定 左 摄像 机 的 CCD 中 心 为 世界 坐标 系 中 心 ， 图 5-7 所 示 为 左右 摄像 机 及 所 有 标定 图 
像 在 世界 坐标 系 中 的 位 置 。 





























图 5-6 标定 图 像 
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右 摄像 机 标定 图 片 


NG 


























图 5-7 左右 摄像 机 坐标 系 下 的 外 参数 


2. 系统 标定 
通过 平面 镜 拍摄 的 图 像 如 图 5-8 所 示 。 从 图 中 可 以 看 出 ， 光 源 及 屏幕 都 在 双 摄像 机 可 视 
范围 内 。 








图 5-8 使 用 平面 镜 拍摄 的 双 摄 像 机 图 像 





a) 左 摄像 机 拍摄 图 像 b) 右 摄像 机 拍摄 图 像 














CO 


通过 角 点 检测 得 到 图 像 中 标定 模板 的 图 像 坐标 见 表 5-3。 
表 5-3 部 分 点 的 图 像 坐标 


























图 5-8a 中 部 分 相 邻 图 5-8b 中 部 分 相 邻 
点 图 像 坐标 角 点 图 像 坐标 
(11.68, 108.25) (35. 11，83. 42 ) 
链 (53.15, 103.44) (79. 20, 77. 53) 
(96.03, 97.61) (122.70, 73.01) 
(138. 90, 93.24) (165. 48, 67. 55) 
(447. 14, 17.26) (381.77, 27.05) 
莫 (478. 09，15. 30) (413.02，26. 12) 
a (508.44, 13.25) (442. 64, 25. 08) 
(539.02, 12.16) (472. 58, 24. 13) 








首先 ， 通 过 摄像 机 标定 分 别 得 到 左右 摄像 机 的 焦距 f=16.46, f. =16.31; 屏幕 标定 模 
板 相 邻 角 点 的 标 称 值 为 16mm ， 镜 子 标定 模板 相 邻 角 点 的 标 称 值 为 11mm。 然 后 ， 计 算出 镜 
子 和 屏幕 的 像 各 点 的 三 维 坐 标 ， 再 通过 拟 合 得 到 镜子 平面 , 求 出 像 点 关于 镜子 平面 的 对 
称 点 。 

3. 误差 分 析 

我 们 使 用 了 一 种 较为 实际 的 误差 评估 方法 ， 通过 测量 可 得 到 标定 模板 上 多 个 相 
邻 角 点 的 三 维 坐 标 , 通过 两 两 相 邻 的 角 点 坐标 可 得 到 棋盘 格 的 边 长 ， 即 d = 
Vi 加) ”+ (yi 一 六 ) ”+ (z1 -多 ) ， 其 与 实际 边 长 的 误差 可 衡量 标定 的 精度 。 表 5-4 给 出 
了 镜子 和 屏幕 部 分 相 邻 角 点 的 空间 距离 及 与 实际 边 长 的 相对 误差 。 图 5-9 显示 了 屏幕 模板 上 
各 角 点 的 空间 坐标 估计 误差 ， 由 表 5-4 和 图 5-9 可 以 看 出 ， 通 过 本 文 所 采用 的 方法 计算 得 到 
的 空间 坐标 误差 较 小 ， 能 够 满足 视线 追踪 系统 对 空间 三 维 坐标 精度 的 要 求 。 

从 实验 结果 中 可 以 得 出 : 

1) 拍摄 更 清晰 的 图 片 有 利于 误差 的 减少 ; 

2) 从 表 5-4 中 可 以 看 出 ， 使 用 标定 模板 中 更 多 的 角 点 进行 计算 ， 可 以 减少 误差 ， 使 结 
果 更 精确 。 












































表 5-4 空间 距离 标定 结果 及 误差 





























序 号 部 分 相 邻 角 点 的 空间 距离 /mm 相对 误差 

1 11. 37 0.03 
镜 
了 2 11. 09 0.01 

3 11.21 0.02 

1 16. 17 0.01 
导 
异 2 16.5 0.0 
幕 6.50 上 

3 16. 44 0.03 
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屏幕 模板 各 角 点 空间 坐标 估计 误差 分 布 


空间 坐标 估计 误差 /mm 














是 幕 模 板 各 角 点 的 空间 坐标 估计 误差 


丽 
可 
Reo) 
el 














5.5 多 摄像 机 系统 标定 


在 使 用 双 目 以 上 摄像 机 的 计算 机 视觉 系统 中 ， 都 需要 进行 摄像 机 标定 ， 并 且 需 要 确 
定 系 统 中 各 摄像 机 的 关系 ， 将 其 变换 到 同一 坐标 系 内 。 一 般 的 摄像 机 标定 方法 ， 需 要 所 
有 的 摄像 机 视野 有 重 闭 的 部 分 ,一些 算法 还 要 求 摄像 机 必须 同步 。 但 是 在 一 些 场合 中 摄 
像 机 可 能 不 具有 重合 视野 ， 如 容 视 野 摄 像 机 、 分 布 式 多 摄像 机 系统 等 ， 在 这 些 系统 中 ， 
想 要 标定 物 在 全 部 摄像 机 的 视野 内 是 很 困难 的 。 在 这 种 情况 下 ,前 两 节 中 所 提出 的 标定 
方法 无 法 使 用 。 

为 了 克服 这 些 局 限 ， 我 们 采用 了 一 种 新 的 标定 方法 ， 使 用 平面 镜 使 一 个 标定 模板 在 所 有 
的 摄像 机 视野 内 。 根 据 摄 像 机 的 位 置 移动 镜子 ， 使 标定 模板 在 摄像 机 视野 内 。 在 标定 过 程 中 
标定 模板 保持 固定 不 动 ， 为 计算 摄像 机 的 镜像 姿态 提供 唯一 的 确定 参考 。 每 个 镜子 姿态 都 有 
四 个 自由 度 (3D 法 向 量 和 镜子 到 摄像 机 的 距离 ) ， 并 把 这 些 作为 标定 过 程 中 的 自由 参数 。 
镜子 姿态 用 来 校正 镜像 。 在 我 们 的 方法 中 ， 镜 子 姿态 不 作为 标定 的 必要 条 件 ， 取 而 代 之 的 是 
摄像 机 的 镜像 姿态 ， 当 摄像 机 通过 镜子 观测 标定 物 时 ， 摄 像 机 的 镜像 姿态 与 摄像 机 真实 姿态 
有 唯一 的 确定 关系 。 

当 借助 镜子 标定 时 ， 摄 像 机 的 内 参数 和 畸变 并 不 发 生变 化 。 在 这 里 ， 我 们 可 采用 第 3 章 
中 提出 的 标定 方法 作为 标定 的 第 一 步 ， 求 出 摄像 机 的 内 参数 、 畸 变 及 摄像 机 镜像 姿态 。 此 方 
法 与 大 多 数 标定 技术 的 不 同 处 在 于 ， 我 们 不 移动 摄像 机 和 标定 模板 ， 只 需 移动 镜子 来 固定 摄 
像 机 和 标定 模板 的 位 置 。 在 标定 方法 的 第 二 步 中 ， 摄 像 机 内 参数 和 镜像 摄像 机 的 姿态 用 来 计 
算 摄像 机 的 真实 位 置 。 

本 例 的 标定 方法 包括 以 下 两 步 : 标定 摄像 机 内 参数 和 镜像 图 像 外 参数 ， 并 计算 真实 摄像 
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机 位 置 。 采 用 这 种 标定 方法 ， 标 定 物 可 以 不 被 摄像 机 直接 看 到 ， 通 过 转动 一 平面 镜 ， 使 标定 
模板 在 摄像 机 视野 内 。 通 过 计算 得 到 摄像 机 镜像 的 内 参数 ， 即 真实 摄像 机 的 参数 。 与 上 一 六 
提出 的 标定 方法 不 同 之 处 在 于 平面 镜 的 位 置 不 作为 标定 的 必要 条 件 ， 也 就 是 说 平面 镜 的 位 置 
并 不 作为 标定 过 程 中 的 参数 ， 取 而 代 之 的 是 镜像 摄像 机 的 位 置 ， 当 摄像 机 通过 镜子 观测 标定 
物 时 ， 摄 像 机 的 镜像 位 置 与 摄像 机 真实 位 置 有 唯一 的 确定 关系 。 通 过 求 摄像 机 镜像 的 位 置 及 
其 之 间 的 约束 关系 ， 可 以 得 到 摄像 机 真实 的 位 置 。 


5. 5.1 标定 摄像 机 内 参数 和 镜像 图 像 外 参数 


固定 摄像 机 和 标定 模板 ， 只 移动 镜子 得 到 不 同方 位 的 标定 模板 图 像 。 通 过 5.2 节 所 提出 
的 标定 算法 获得 摄像 机 内 参数 和 镜像 图 像 外 参数 。 


5. 5.2 计算 真实 摄像 机 位 置 


通过 镜像 摄像 机 与 真实 摄像 机 之 间 的 约束 关系 ,计算 真实 摄像 机 的 位 置 。 为 了 验证 算法 
的 效果 ， 我 们 进行 了 大 量 的 模拟 实验 。 在 试验 中 ， 设 定 了 三 个 摄像 机 ， 选 用 的 摄像 机 参数 
[As，m，m， 而， 万， 六， 六 ] 分 别 为 [1000，1000，0,，320，240，- 0.2，0.2， 
0.01, 0.01] 、 [1000, 1000, 0, 320, 240，-0.1, 0.2, 0.01, 0]、 [1000，1000，1， 
320，240，-0.2，0.2，0.01,，0.01] ， 图 像 分 辩 率 为 640 x 480。 为 了 验证 本 方法 对 噪声 的 
敏感 性 ， 对 各 点 加 入 噪声 [ Ax，Ayj」 ， 单 位 为 像素 ， 噪 声 水 平 为 《0 ~1.0)。 按 照 前 面 的 摄 
像 机 标定 方法 和 本 章 中 的 方法 ， 在 每 个 噪声 等 级 下 进行 多 次 独立 实验 ， 并 采用 内 参数 估计 值 
与 真实 值 之 差 的 绝对 值 与 各 参数 之 间 的 相对 误差 来 度量 佑 计 结 果 。 图 5- 10 所 示 为 内 参数 标 
定 结果 ， 图 5- 11 所 示 为 外 参数 标定 结果 。 
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图 5-10 摄像 机 内 参数 误差 分 析 〈 续 ) 








针对 情感 机 器 人 视觉 系统 中 ， 眼 睛 ， 即 摄像 机 ， 不 能 满足 普通 标定 方法 的 要 求 ， 如 标定 
物 不 能 被 所 有 的 摄像 机 看 到 ， 我 们 提出 了 一 种 新 的 标定 方法 : 标定 物 可 以 不 被 摄像 机 直接 看 
到 ， 通 过 转动 一 平面 镜 ， 使 标定 模板 在 摄像 机 视野 内 。 通 过 计算 得 到 摄像 机 镜像 的 内 参数 ， 
即 真 实 摄像 机 的 参数 。 这 种 方法 的 特点 在 于 平面 镜 的 位 置 不 作为 标定 的 必要 条 件 ， 也 就 是 说 
平面 镜 的 位 置 并 不 作为 标定 过 程 中 的 参数 ， 取 而 代 之 的 是 镜像 摄像 机 的 位 置 ， 当 摄像 机 通过 
镜子 观测 标定 物 时 ， 摄 像 机 的 镜像 位 置 与 摄像 机 真实 位 置 有 唯一 的 确定 关系 。 通 过 求 摄像 机 
镜像 的 位 置 及 其 之 间 的 约束 关系 ， 可 以 得 到 摄像 机 真实 的 位 置 。 
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图 5-11 摄像 机 1 的 外 参数 误差 分 析 
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第 6 剖 人 机 交互 与 合作 


前 面 介绍 的 重点 是 情感 机 器 人 头 部 和 身躯 的 机 械 结构 设计 ， 从 本 章 开始 我 们 重点 介绍 软 
件 部 分 ， 了 解 如 何在 软件 中 设计 机 器 人 的 情感 表达 。 本 章 主 要 介绍 基于 网 络 的 数字 家 庭 环境 
中 人 与 机 器 人 的 交互 与 合作 ， 采 用 “虚拟 管家 ”软件 人 的 形式 ， 利 用 语音 、 视 线 、 情 感 等 
交互 技术 ， 更 加 形象 、 生 动 地 反映 数字 家 庭 中 的 和 谐 人 机 交互 理念 。 虚 拟 管家 系统 形象 和 功 
能 操作 界面 平台 如 图 6-1 所 示 。 

本 章 主要 对 情感 机 器 人 的 基础 研究 进行 讲解 ， 主 要 内 容 分 以 下 三 部 分 ， 人 机 交互 概述 ， 
人 机 交互 的 相关 技术 ， 人 机 交互 系统 的 设计 与 评估 。 
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图 6-1 虚拟 管家 系统 的 形象 和 功能 操作 界面 平台 


6.1 人 机 交互 概述 


6.1.1 人 机 交互 的 概念 


言 息 技术 的 高 速 发 展 给 人 类 生产 、 生 活 带 来 了 广泛 而 深刻 的 影响 。 信 息 技 术 、 数 字 技 术 
和 网 络 技术 一 体 化 的 信息 交流 方式 ， 使 人 们 明显 感觉 到 快捷 与 自由 、 开 放 与 互动 ， 但 是 作为 
言 息 技术 的 重要 内 容 ， 人 机 交互 技术 比 计算 机 硬件 和 软件 技术 的 发 展 要 滞后 许多 ， 已 经 成 为 
人 类 运用 信息 技术 深入 探索 和 认识 客观 世界 的 瓶 席 。 人 机 交互 技术 的 发 展 水 平 直 接 影响 着 计 
算 机 的 可 用 性 和 效率 。 因 此 ， 人 机 交互 技术 已 成 为 信息 领域 骂 需 解决 的 重大 课题 ， 引 起 多 国 
的 高 度 重 视 。 我 国 国 家 自然 科学 基金 委员 会 、 国 家 重点 基础 研究 发 展 计划 (973 ) 、 国 家 高 
技术 人 研究 发 展 计划 (863) 等 项 目 指南 中 ， 均 将 先进 的 人 机 交互 技术 以 及 虚拟 现实 技术 列 为 
特别 关注 的 资助 项 目 。 

人 机 交互 (Human- Computer Interaction，HCI) 是 关于 设计 、 评 价 和 实现 供 人 们 使 用 的 
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交互 式 计算 机 系统 ， 且 围绕 这 些 方 面 的 主要 现象 进行 研究 的 科学 。 广 义 地 讲 ， 人 机 交互 是 
人 -机 -环境 系统 工程 学 研究 的 一 个 重要 领域 ， 它 不 但 研究 在 设计 人 机 系统 时 如 何 考虑 人 的 特 
性 和 能 力 ， 以 及 人 受 机 器 作业 和 环境 条 件 的 限制 ， 而 且 还 研究 人 的 训练 、 人 机 系统 设计 和 开 
发 ， 以 及 同人 机 系统 有 关 的 心理 学 、 生 物 学 或 医学 问题 。 狭 义 地 讲 ， 人 机 交互 技术 主要 是 研 
究 人 与 计算 机 之 间 的 信息 交换 ， 包 括 人 到 计算 机 和 计算 机 到 人 的 信息 交换 两 部 分 。 目 前 ， 本 
实验 室 主 要 研究 这 种 意义 上 的 人 机 交互 。 对 于 前 者 ， 人 们 可 以 借助 键盘 、 鼠 标 、 操 纵 杆 、 数 
据 服 装 、 眼 动 跟踪 器 、 位 置 跟踪 器 、 数 据 手套 、 压 力 笔 等 设备 ， 用 手 、 脚 、 声 音 、 姿 势 或 身 
体 的 动作 、 视 线 其 至 脑 电 波 等 向 计算 机 传递 信息 ; 对 于 后 者 ， 计 算 机 通过 打印 机 、 绘 图 仪 、 
显示 右 、 头 盔 式 显示 器 (Head Mount Display，HMD) 、 音 箱 等 输出 或 显示 设备 为 人 提供 
言 自 


日 eo 


6.1.2 人 机 交互 的 发 展 
人 机 交互 的 发 展 历史 ， 是 从 人 适应 计算 机 到 计算 机 不 断 地 适应 人 的 过 程 ， 它 经 历 了 早期 
手工 作业 阶段 、 作 业 控 制 语言 及 交互 命令 语言 阶段 、 图 形 用 户 界 面 ( Graphical User Inter- 
face，GUI) 交互 阶段 和 自然 和 谐 的 人 机 交互 阶段 ， 可 用 图 6-2 来 表示 : 
70 年 代 施乐 公司 在 Alto 上 






































开发 位 映像 图 形 显示 技术 必 备 的 人 机 交 丰 工具 
Sutherland 一 一 Sketchpad ”| 1984 年 苹果 公司 一 一 Macintosh 
20 世 纪 40 年 代 个 人 计算 机 ， 引 入 WIMP 技 术 
21 世 纪 
萌芽 期 准备 期 发 展期 
作业 探 制 语言 图 形 用 户 界面 ; 
计算 机 发 展 早期 ” 1963 年 Engelbart 发 明和 鼠标 1922 年 ，VPL 公 司 推出 Eyephone 液 晶 
SA 
60 六 
2 1982 年 美国 加 州 VPL 公 司 
一 一 第 一 幅 数 据 手套 








图 6-2 人 机 交互 发 展 时 间 轴 


20 世纪 40 年代 前 ， 是 人 机 交互 技术 的 萌芽 期 ; 20 世纪 40 ~70 年 代 是 准备 期 ; 20 世纪 
80 年 代 进 入 发 展期 ; 进入 21 世纪 后 ， 人 机 交互 技术 与 其 他 科学 不 断 融 合 ， 酝 酿 着 技术 创 
新 ， 它 的 研究 和 应 用 已 全 面 滩 人 到 航空 航天 、 通 信 、 计 算 机 科学 、 兵 器 、 航 海 、 交 通 、 电 
子 、 建 筑 、 能 源 、 煤 炭 、 冶 金 、 管 理 等 领域 。 随 着 它 的 不 断 发 展 和 完善 ， 必 将 在 新 一 轮 科 学 
技术 革命 中 发 挥 积极 的 作用 。 在 未 来 的 计算 机 系统 中 ， 将 更 加 强调 “以 人 为 本 ”“ 自 然 和 
谐 ”的 交互 方式 ， 以 此 为 宗旨 实现 人 机 高 效 合作 。 
6.1.3 人 机 交互 的 研究 内 容 

人 机 交互 技术 是 研究 人 、 计 算 机 及 其 之 间 相 互 影响 的 技术 ， 是 一 个 跨 学 科 的 领域 ， 包 括 
计算 机 科学 、 认 知心 理学 、 人 机 工程 学 等 。 

1. 人 机 交互 界面 表示 模型 与 设计 方法 (Model and Methodology) 

一 个 交互 界面 的 优 劣 ， 直 接 影响 到 软件 开发 的 成 败 。 友 好 的 人 机 交互 界面 的 开发 离 不 开 
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交互 模型 与 设计 方法 。 因 此 ， 人 机 交互 界面 的 表示 模型 与 设计 方法 是 人 机 交互 的 重要 人 研究 内 
容 之 一 。 

2. 可 用 性 分 析 与 评估 ( Usability Evaluation ) 

可 用 性 是 人 机 交互 系统 的 重要 内 容 ， 它 关系 到 人 机 交互 能 否 达 到 用 户 期 待 的 目标 ， 以 及 
实现 这 一 目标 的 效率 与 便捷 程度 。 对 人 机 交互 系统 的 可 用 性 分 析 与 评估 研究 主要 涉及 支持 可 
用 性 的 设计 原则 和 评估 方法 等 。 

3. 多 通道 交互 技术 (Multi- Modal) 

在 多 通道 交互 中 ， 用 户 可 以 使 用 语音 、 手 势 、 眼 神 、 表 情 等 自然 的 交互 方式 与 计算 机 系 
统 进 行 通信 。 多 通道 交互 主要 研究 多 通道 交互 界面 的 表示 模型 、 多 通道 交互 界面 的 评估 方法 
以 及 多 通道 信息 的 融合 等 。 其 中 ， 多 通道 整合 是 多 通道 用 户 界面 研究 的 重点 和 难点 。 

4. 认 知 与 智能 用 户 界面 (Recognition and Intelligent User Interface) 

智能 用 户 界面 (Intelligent User Interface，IUI) 的 最 终 目标 是 使 人 机 交互 和 人 - 人 交互 一 
样 自 然 、 方 便 。 上 下 文 感知 、 眼 动 跟踪 、 手 势 识 别 、 三 维 输入 、 语 音 识别 、 表 情 识别 、 手 写 
识别 、 自 然 语言 理解 等 都 是 认 知 与 智能 用 户 界面 需要 解决 的 重要 问题 。 

5. 虚拟 环境 (Virtual Environment) 中 的 人 机 交互 

“以 人 为 本 ”、 自 然 和 谐 的 人 机 交互 理论 与 方法 是 虚拟 现实 的 主要 研究 内 容 之 一 。 通 过 
研究 与 视觉 、 听 党 、 触 党 等 多 通道 信息 相 融 合 的 理论 和 方法 、 并 协同 交互 技术 以 及 三 维 交互 
技术 等 ， 建 立 具有 高 度 真实 感 的 虚拟 环境 ， 使 人 产生 “ 身 临 其 境 ” 的 感觉 。 

6. Web 设计 (Web- Interaction) 

重点 研究 Web 界面 的 信息 交互 模型 和 结构 、 基 本 思想 和 原则 、 工 具 和 技术 ， 及 其 可 用 
性 分 析 与 评估 方法 等 内 容 。 

7. 移动 界面 设计 (Mobile and Ubicomp) 

移动 计算 (Mobile Computing) 、 普 适 计 算 (Ubiquitous Computing) 等 对 人 机 交互 技术 提 
出 了 更 高 的 要 求 ， 面 向 移动 应 用 的 界面 设计 已 成 为 人 机 交互 技术 的 一 个 重要 应 用 领域 。 由 于 
移动 设备 的 位 置 不 固定 性 、 计 算 能 力 有 限 ， 且 无 线 网 络 的 低 带宽 高 延迟 等 诸多 限制 ， 移 动 界 
面 设计 方法 、 移 动 界 面 可 用 性 与 评估 原则 、 移 动 界 面 导航 技术 以 及 移动 界面 的 实现 技术 和 开 
发 工具 ， 都 是 当前 的 人 机 交互 技术 的 研究 热点 。 

8. 群 件 (Groupware) 

群 件 是 指 为 群 组 协同 工作 提供 计算 机 支持 的 协作 环境 ， 主 要 涉及 个 人 或 群 组 间 的 信息 传 
递 、 群 组 内 的 信息 共享 、 业 务 过 程 自 动 化 与 协调 以 及 人 和 过 程 之 间 的 交互 活动 等 。 目 前 与 人 
机 交互 技术 相关 的 研究 内 容 主 要 包括 群 件 系 统 的 体系 结构 、 计 算 机 支持 的 交流 与 共享 信息 的 
方法 、 交 流 中 的 决策 支持 的 工具 、 应 用 程序 共享 以 及 同步 实现 方法 等 。 


6.2 人 机 交互 技术 


目前 ， 随 着 多 媒体 、 多 通道 和 虚拟 现实 技术 的 发 展 ， 人 机 交互 技术 正经 历 着 从 精确 交互 
向 非 精确 交互 、 从 单 通道 交互 向 多 通道 交互 、 从 二 维 交互 向 三 维 交互 的 转变 ， 这 对 传统 的 
WIMP 用 户 界 面 设 计 理论 提出 了 巨大 的 挑战 。 结 合 实验 室 目前 的 课题 研究 ， 本 章 主要 介绍 多 
通道 用 户 界 面 中 的 语音 、 图 像 和 视线 交互 技术 。 
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人 机 自然 交互 的 核心 是 理解 交互 对 象 之 间 所 进行 交互 的 内 容 。 特 别 是 使 计算 机 理解 人 所 
发 出 的 指令 、 语 句 ， 进 行 识别 ， 以 便 执行 人 的 命令 ,或 理解 说 话 内 容 ， 回 答 人 所 提出 的 
问题 。 


6.2.1 语音 交互 技术 


语音 交互 包括 语音 合成 和 语音 识别 两 部 分 。 

1. 语音 合成 

语音 合成 ， 又 称 文 语 转换 (Text to Speech) 技术 ， 它 涉及 声学 、 语 言 学 、 数 字 信 和 号 处 
理 、 计 算 机 科学 等 多 个 学 科技 术 ， 是 中 文 信息 处 理 领 域 的 一 项 前 沿 技术 ， 主 要 解决 如 何 将 文 
字 信 息 转 化 为 声音 信息 ， 即 让 机 器 像 人 一 样 开口 说 话 。 这 在 情感 机 器 人 的 设计 中 是 必 不 可 少 
的 ， 只 有 让 情感 机 器 人 开口 说 话 ， 才 能 达到 人 与 机 器 人 的 语音 交互 ， 才 能 在 语言 、 语 调 中 体 
现 出 机 器 人 的 情感 状态 ， 才 能 追求 自然 和 谐 的 人 机 交互 。 下 面 介绍 一 下 如 何 实现 情感 机 器 人 
的 语音 合成 功能 。 

微软 的 Speech SDK 5. 1 采用 了 COM 组 件 形式 实现 语音 合成 ， 比 较 简 单 易学 。 成 功 安装 
Microsoft Speech SDK 5. 1 后 ， 就 会 在 系统 的 控制 面板 一 语 首 一 文字 语音 转换 下 拉 框 中 出 现 语 
音 合成 引擎 ， 其 中 英文 的 语音 合成 有 Mike 、Mary 和 Sam 三 个 角色 ， 而 对 于 中 文 的 语音 合成 
微软 仅 提供 了 simple Chinese 一 种 声音 。 

语音 合成 的 具体 程序 步 又 如 下 : 

1) 调用 API 函数 ColInitialize 初始 化 COM 组 件 ; 

2) 使 用 SpFindBestToken 函数 ， 传 人 人 参数， 设置 中 英文 语言 类 型 ; 

3) 调用 CoCreateInstance API 函数 创建 COM 语音 合成 接口 实例 IspVoice; 

4) 调用 IspVoice 接口 方法 SetVoice， 加 载 前 面 所 设置 的 声音 类 型 ; 

5) 初始 化 工作 全 部 成 功 后 ， 则 可 以 在 程序 需要 的 地 方 调用 IspVoice 接口 中 的 Speak 方 
法 ,将 合成 的 语句 以 宽 字符 的 形式 作为 参数 即 可 。 

在 合成 过 程 中 ， 可 以 使 用 SetVolume 、SetRate 等 方法 调节 语音 合成 的 音量 、 速 度 等 。 另 
外 ， 还 可 以 调用 IspVoice 接口 的 SetNotifyWindowMessage 方法 ， 设 定 在 语音 合成 过 
事件 发 生 时 合成 引擎 向 程序 窗口 发 送 的 消息 。 

2. 语音 识别 

语音 识别 是 通过 机 器 识别 和 理解 把 语音 信号 转变 为 相应 文本 文件 或 命令 的 技术 。 作 为 一 
个 专门 的 研究 领域 ， 语 音 识别 又 是 一 门 交叉 学 科 ， 它 与 声学 、 语 音 学 、 语 言 学 、 人 工 智能 、 
数字 信号 处 理 理论 、 信 息 理 论 、 模 式 识别 理论 、 最 优化 理论 、 计 算 机 科学 等 众多 学 科 紧 密 相 
连 。 在 情感 机 器 人 的 设计 中 语音 识别 是 必 不 可 少 的 一 步 ， 语 音 识别 就 如 同 让 情感 机 器 人 拥有 
了 “ 耳 条 ”， 这 种 人 性 化 的 设计 是 完成 语音 交互 的 基础 。 

语音 识别 模块 利用 微软 的 Speech SDK 5. 1 提供 的 API 设计 开发 。Speech SDK 5. 1 提供 了 
两 套 API 困 数 。 分 别 是 Application- Level Interfaces 和 Engine- Level Interfaces。 前 者 为 语音 识 
别 应 用 程序 为 开发 提供 了 各 种 接口 和 方法 。 后 者 提供 的 是 语音 识别 引擎 接口 和 方法 ， 主 要 是 
为 了 便于 用 户 进行 DDI 或 设备 驱动 程序 开发 。 本 应 用 实例 使 用 Application- Level Interfaces 提 
供 的 API 进行 程序 设计 与 开发 。 

相 比 较 于 语音 合成 而 言 ， 语 音 识别 的 实现 过 程 稍 显 复杂 。 简 单 说 来 ， 在 经 历 了 一 系列 的 
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初始 化 之 后 ， 设 置 识别 引擎 返回 消息 ， 当 语音 识别 事件 发 生 后 ， 知 识别 成 功 ， 识 别 引擎 自动 
向 程序 窗口 发 送 识别 成 功 的 消息 ， 若 识别 失败 消息 ， 开 发 者 根据 自身 程序 的 情况 进行 相应 得 


处 理 。 具体 过 程 如 图 0-3 所 示 。 
1) 初始 化 COM: 微软 Speech SDK 以 
初始 化 识别 引擎 














COM 组 件 的 形式 提供 给 开发 人 员 ， 因 此 ， 
在 调用 SAPI 之 前 需要 对 COM 进行 初始 化 。 
由 于 本 系统 是 MFC 基于 对 话 框 的 程序 ， 所 
以 在 程序 实例 初始 化 InitInstance 函数 中 调 
用 ColInitialize 初始 化 COM 。 

2) 初始 化 识别 引擎 : 首先 调用 
SpFindBestToken 接口 在 系统 注册 表 中 查找 
合适 的 识别 引擎 。 此 接口 的 参数 决定 识别 
的 语言 类 别 特性 一 一 409 表示 英文 ，804 表 
示 中 文 和 音频 输入 设备 ， 然 后 调用 CoCre- 
ateInstance 初始 化 ISpRecognizer 接口 实例 ， 
最 后 使 用 SetInput 和 SetRecognizer 接口 函数 
将 这 些 特性 设置 到 语音 识别 引擎 接口 
ISpRecognizer 中 。 

3) 创建 识别 上 下 文 : 识别 上 下 文 
(Reco Context) 就 是 语音 识别 的 相关 环境 。 Ee 
一 个 语音 识别 引擎 可 以 对 应 多 个 识别 上 下 
文 ， 每 个 Reco Context 规定 了 识别 的 语法 规 
则 、 返 回 系 统 窗口 的 消息 等 。 

4) 设置 识别 引擎 返回 消息 : 消息 就 是 当 识 别 引 擎 检测 到 某 种 情况 或 完成 某 项 任务 后 向 
主 程序 通知 的 事件 ， 由 此 程序 会 对 不 同 的 事件 作出 不 同 的 后 继 处 理 。SAPI 所 有 消息 都 定义 
为 枚 举 类 型 SPEVENTENUM， 其 中 比较 常用 的 为 SPEI_RECOGNITION (语音 已 被 成 功 识 
别 )、SPEI_FALSE_RECOGNITION (语音 识别 不 成 功 ) 、SPEI_SOUND_START (声卡 检测 到 
有 声音 输入 ) 、SPEI_SOUND_END (声卡 检测 到 声音 输入 停止 ) 等 。 应 用 程序 先 调 用 API 函 
数 SetNotifyWindowMessage 将 自身 的 主 窗 口 句柄 和 消息 类 型 通过 参数 传人 。 此 时 的 消息 是 自 
定义 的 类 型 ， 程 序 需要 调用 接口 ISpRecoContext 的 方法 SetInterest 指明 程序 关心 的 消息 ， 这 
里 可 以 是 单个 消息 也 可 是 一 系列 消息 的 组 合 。 当 语音 识别 引擎 检测 到 相关 的 事件 后 自动 向 程 
序 发 送 上 述 设 定好 的 消息 ， 程 序 根据 参数 判断 具体 消息 的 类 型 ， 再 做 相应 的 处 理 。 

5) 加 载 识别 语法 : 所 谓语 法 规则 就 是 事先 设 定好 的 语音 识别 的 内 容 。 语 法 规则 用 XML 
语言 形式 存储 到 文件 中 ， 然 后 通过 Speech SDK 带 有 的 编译 器 编译 成 . cfg 文件 ， 在 程序 运行 
时 动态 加 入 。 先 使 用 方法 函数 CreateGrammar 创建 语法 接口 ， 然 后 调用 LoadCmdFromFile 方 
法 从 外 部 文件 将 语法 规则 加 载 进来 。 

6) 处 理 消息 : 本 系统 所 关心 的 语音 识别 消息 是 SPEI_RECOGNITION 与 SPEI_FALSE _ 
RECOGNITION， 自 定义 的 消息 类 型 是 WM_RECOEVENTCH。 在 自 定义 消息 的 啊 应 函数 中 ， 
首先 调用 SetRecoState ， 在 处 理 语音 识别 结果 时 将 识别 引 警 关闭， 不 接受 新 的 语音 输入 ; 然 
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后 通过 CSpFvent 与 当前 的 识别 上 下 文 关 联 ; 随后 通过 判断 event ID 来 确定 消息 的 类 型 ， 做 
相应 的 处 理 ; 最 后 再 次 调用 SetRecoState ， 将 识别 引擎 恢复 正常 ， 继 续 接受 语音 输入 。 

在 整个 语音 识别 程序 中 ， 识 别 语 法 和 识别 状态 都 可 以 动态 的 改变 。 只 要 将 语法 规则 预先 
存储 到 不 同 的 文件 中 ， 就 可 以 因 情 况 不 同 而 更 换 。 在 改变 识别 引擎 设置 的 时 候 ， 需 要 先 将 识 
别 状 态 置 为 关闭 状态 。 此 外 ， 可 以 看 出 windows 的 消息 机 制 在 整个 识别 处 理 中 起 到 重要 的 作 
用 ， 所 有 识别 功能 的 实现 ， 必 须要 在 消息 到 来 之 后 再 去 执行 。 所 以 自 定 义 消 息 ， 手 动 添加 消 
息 响应 函数 ， 也 是 不 可 或 缺 的 一 个 环节 。 

图 6-4 所 示 为 简单 的 应 用 截图 ， 其 中 采用 了 Microsoft Agent 这 个 形象 载体 ， 语 法 规则 采 
用 的 是 动态 数据 库 加 载 方式 ， 这 样 能 够 适时 地 修改 、 添 加 和 删除 语音 识别 交互 内 容 。 通 过 实 
验 ， 在 安静 的 环境 中 经 过 训练 后 ， 可 以 满足 用 户 的 对 话 交 互 。 
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图 6-4 语音 交互 实例 


6.2.2 说 话 人 识别 


人 与 情感 机 器 人 的 自然 交互 正如 人 与 人 交互 一 样 ， 首 先 要 知道 在 与 谁 交 互 ， 即 ， 识 别 交 
互 的 对 象 或 称 为 说 话 人 识别 (speaker recognition ) 。 说 话 人 识别 是 一 种 特殊 的 语音 识别 ， 它 
有 2 个 功能 : 一 是 说 话 人 辨别 (speaker identification ) ;二 是 说 话 人 验证 (speaker verifica- 
tion) 。 前 者 是 判断 正在 说 话 的 是 谁 ， 识 别 交 互 对 象 ; 后 者 是 验证 所 获取 的 语言 或 人 脸 信和 号 
到 底 是 属于 哪个 人 的 ， 和 常用 语 情报 侦察 和 安全 防范 。 说 话 人 识别 通常 是 通过 计算 机 的 听觉 或 
视觉 功能 来 完成 的 ， 音 频 信和 号 反映 了 说 话 人 的 语音 语言 特征 ， 视 频 信 和 号 反映 了 人 脸 特 征 。 二 
者 共同 应 用 时 ， 由 于 宛 余 信息 的 存在 ， 可 以 达到 更 可 靠 的 识别 效果 。 

1. 听觉 说 话 人 识别 

说 话 人 识别 是 在 人 机 自然 交互 过 程 中 识别 对 话 对 象 ， 是 语音 识别 研究 的 一 个 重要 分 文 ， 
从 一 开始 就 与 语音 识别 研究 共同 发 展 。 说 话 人 识别 的 主要 技术 大 多 来 自 语 音 识别 的 最 新 研究 
成 果 ， 对 此 具有 较 长 研究 历史 和 学 术 影 响 的 机 构 包 括 : 美国 电报 电话 公司 (AT&T) 及 其 分 
支 机 构 ，BBN Tech ， 瑞 士 感 党 人 工 智 能 Dalle Molle 研究 所 (IDIAP)，ITT，MIT 林肯 实验 
室 ， 中 国 台 湾 国立 清华 大 学 ， 名 古 屋 大 学 ， 日 本 电报 电话 公司 ，RPI，Rutgers 大 学 ，TI 等 。 

(1) 说 话 人 识别 的 分 类 

说 话 人 识别 可 以 分 为 两 个 范畴 ， 即 说 话 人 辨认 (Speaker Identification ) 和 说 话 人 确认 





























98 





(Speaker Verification ) 。 前 者 是 把 未 标记 的 语句 判定 为 属于 N 个 参考 说 话 人 中 的 某 一 个 ， 是 
一 个 多 选 一 的 问题 ; 后 者 则 是 根据 说 话 人 的 语句 确定 是 否 与 某 个 参考 说 话 人 相符 ， 这 种 确认 
只 有 2 种 可 能 ， 既 肯定 或 否定 。 

说 话 人 识别 可 以 分 为 与 文本 相关 的 (Text- dependent) 和 与 文本 无 关 的 (Text- independ- 
ent) 。 与 文本 相关 的 是 指 说 话 人 按 规定 文本 发 首 , 或 者 根据 提示 发 首 ， 这 会 使 问题 大 为 简 
化 ; 而 与 文本 无 关 的 说 话 人 识别 在 实际 应 用 中 具有 更 大 的 价值 ， 尤 其 是 在 电话 监听 等 应 用 场 
合 ， 系 统 无 法 预知 说 话 人 将 要 说 什么 内 容 。 

(2) 说 话 人 识别 的 方法 

1) 基于 统计 模型 的 算法 。 利 用 语音 识别 的 HMM 技术 也 可 以 实现 说 话 人 识别 。 用 HMM 
算法 实现 文本 相关 的 说 话 人 识别 系统 更 为 方便 。 此 时 采用 的 方法 基本 上 与 语音 识别 的 方法 相 
同 ， 首 先 采集 不 同 说 话 人 的 多 次 发 音 ， 经 过 训练 得 到 HMM 模型 参数 ， 根 据 匹配 分 数 的 不 同 
来 区 分 说 话 人 。 

2) 基于 模板 匹配 的 算法 。 模 板 匹 配 算法 的 要 点 是 ， 在 训练 过 程 中 ， 从 每 个 说 话 人 的 训 
练 语句 中 提取 相应 的 特征 向 量 ， 它 们 能 够 充分 描述 各 说 话 人 的 特征 。 这 些 特 征 向 量 称 为 各 说 
话 人 的 模板 ， 可 以 从 单词 、 数 字 串 或 句子 中 提取 。 在 测试 阶段 ， 从 说 话 人 发 出 的 语音 信号 中 
按照 同样 的 处 理 方 法 提取 测试 模板 ， 并 且 与 相应 的 参考 模板 进行 比较 。 由 于 说 话 人 的 每 次 发 
音 都 是 变化 的 ， 测 试 模板 和 参考 模板 在 时 间 尺 度 上 不 可 能 完全 一 致 。 为 使 二 者 在 时 间 等 效 点 
上 加 以 比较 ， 最 常用 的 办 法 就 是 采用 DTW 算法 。 在 DTW 的 过 程 中 同时 计算 所 有 参考 模板 
对 测试 模板 的 距离 测度 并 且 形 成 判决 函数 。 

说 话 人 识别 系统 中 对 于 语音 的 内 容 实际 上 是 不 感 兴趣 的 ， 而 且 语音 的 内 容 原 则 上 都 是 相 
同 的 ， 其 任务 是 区 分 不 同 说 话 人 的 发 音 。 而 语音 识别 中 则 是 找到 说 话 人 说 话 的 内 容 。 

(3) 应 用 实例 

本 实例 是 基于 模板 匹配 算法 实现 的 ， 可 分 为 训练 与 识别 两 部 分 ， 系 统 框图 如 图 6-5 
所 示 。 


































































































训练 


了 3 

特征 提取 | 一 [ 语音 本 生成 | | 更 
矢 
量 























识别 





图 6-5 基于 模板 匹配 算法 的 系统 框图 








在 训练 过 程 中 ， 语 音信 号 需 先 经 过 预 处 理 ， 然 后 进行 特征 提取 ， 并 将 提取 的 参数 生成 码 
本 进行 存储 ; 在 识别 过 程 中 ， 只 需 将 目前 的 特征 参数 与 存储 在 码 本 中 的 参数 进行 比较 就 能 得 
到 识别 结果 。 这 样 情感 机 器 人 就 可 以 识别 出 当前 用 户 的 身份 。 

1) 训练 。 

QD 预 处 理 : 包含 分 帧 和 端点 检测 两 个 部 分 。 由 于 语音 信号 只 在 短 时 间 内 具有 平稳 性 ， 
因此 要 将 信号 作 分 帧 处 理 ; 分 帧 后 ， 语 音信 号 被 分 割 成 一 帧 一 帧 的 短 时 信和 号。 本 实例 使 用 交 
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县 分 帧 的 方法 ， 即 前 后 相 邻 的 两 帧 有 重 受 的 部 分 ， 这 样 可 以 使 帧 与 帧 之 间 平 滑 过 渡 ， 保 持 其 
连续 性 。 端 点 检测 是 为 了 减少 噪声 ， 也 即 无 声 段 的 影响 ;， 短 时 能 量 可 以 区 分 浊音 和 噪音 ， 短 
时 过 零 率 可 以 区 分 清音 和 噪音 。 因 此 ， 使 用 二 者 的 乘积 一 一 能 频 值 ， 实 现 语音 端点 检测 ， 可 
以 去 除 无 声 段 。 

ToWork ( ) 一 一 启动 控制 函数 ， 函数 中 调用 以 下 几 个 函数 对 音频 文件 进行 预 处 理 ， 以 便 
后 面 特征 提取 之 用 ; 

Load_Wave_File ( ) 一 一 加 载 音频 文件 : 通过 调用 录音 函数 ， 将 录 好 的 音频 文件 加 载 人 
缓存 ; 


Pretreatment () 
































语音 信号 预 处 理 : 首先 ， 对 语音 信号 进行 预 加 重 ， 即 在 计算 短 时 能 
量 前 ， 对 语音 信号 进行 高 频 提 升 处 理 ， 滤 除 低 频 干 扰 ; 然后 ， 对 语音 信号 进行 分 帧 处 理 ， 语 
音信 号 是 一 种 准 平稳 信号 。 但 是 ， 由 于 语音 的 形成 过 程 与 发 声 器 官 的 运动 密切 相关 ， 这 种 物 
理 运动 比 起 声波 振动 速度 来 讲 要 缓慢 得 多 ， 因 此 可 以 假定 语音 信号 为 短 时 平稳 的 ， 即 可 以 假 
定 在 10 ~30ms 的 时 间 段 内 ， 其 频谱 特性 和 某 些 物理 特征 参量 可 近似 看 作 不 变 。 任 何 语音 信 
号 数字 处 理 算法 和 技术 都 建立 在 这 种 “ 短 时 平稳 ”特性 的 基础 之 上 。 因 此 ， 一 般 在 分 帧 时 ， 
帧 长 选取 在 10 ~30ms 之 间 。 分 帧 可 以 是 连续 的 ， 也 可 以 是 交合 的 。 因 为 交合 分 帧 可 以 平滑 
信号， 减少 信号 两 端 处 的 预测 误差 ， 避 免 频 谱 出 现 “破碎 ”现象 ， 所 以 本 系统 中 ， 综 合 考 
虑 到 语音 信号 的 短 时 平稳 性 以 及 之 后 基 音 检测 的 准确 性 ， 最 终 选 取 帧 长 为 30ms (在 系统 采 
样 率 为 8kHz 的 前 提 下 ， 相 应 于 每 帧 有 240 个 信号 样 值 ) ， 帧 移 15ms。 

接着 计算 每 帧 能 频 值 ， 调 用 的 函数 及 功能 是 

littleEnergy 〈) 一 一 计算 短 时 能 量 : 语音 信号 一 般 可 分 为 无 声 段 、 清 音 段 和 浊音 段 。 无 
声 段 是 背景 噪声 段 ， 平 均 能 量 最 低 。 浊 音 段 为 声带 振动 发 出 响应 的 语音 信号 段 ， 平 均 能 量 最 
高 。 清 音 段 为 空气 在 口腔 中 的 摩擦 、 冲 击 或 爆破 而 发 出 的 语音 信号 段 ， 平均 能 量 居于 两 者 之 
间 。 基 于 能 量 的 算法 适用 于 浊音 检测 ， 但 不 适合 检测 清音 ， 这 也 为 一 下 检测 语音 起 点 与 终点 
打下 基础 。 

littleZero 〈 ) 一 一 计算 短 时 过 零 率 : 即 一 定时 间 内 信和 号 穿越 零 电 平 的 次 数 ， 适 合用 来 检 


测 清音 。 

findBeginning () 检测 语 首 起 点 。 

findEnd () 检测 语 首 终点 。 

引入 能 频 值 (Energy Frequency Value，EFV) 的 概念 : 能 频 值 等 于 短 时 能 量 乘 上 短 时 过 
零 率 。 能 频 值 既 顾及 到 清音 的 高 过 零 率 又 顾及 到 浊音 的 高 能 量 ， 从 而 提高 了 语音 信和 号 与 背景 
噪声 的 分 辩 能 力 。 同 时 ， 考 虑 到 实际 应 用 中 周围 环境 的 变换 以 及 讲话 者 的 语音 强 弱 等 影响 都 
会 造成 国 值 的 选取 无 法 普遍 适用 ， 为 此 ， 进 一 步 引 入 相对 闪 值 的 概念 ， 它 区 别 于 传统 意义 上 
的 门限 闵 值 ， 而 是 度量 两 个 时 刻 的 语音 采样 的 比值 关系 ， 具 体 来 说 是 当前 采样 点 与 分 析 顺 序 
上 第 一 个 极 大 值 点 的 比值 。 该 相对 阔 值 即 能 反映 出 当前 采样 点 能 频 值 的 大 小 ， 又 能 通过 类 似 
归 一 化 的 方法 屏蔽 掉 环 境 影响 ， 因 此 具有 较 好 的 效果 。 系 统 端点 检测 流程 如 图 6-6 所 示 。 

@ 特征 提取 : 

FeatureExtractor ( ) 一 一 特征 提取 ， 即 对 基 音 特征 进行 分 析 与 提取 。 在 语音 产生 的 数字 
模型 中 ， 基 音 周期 是 激励 源 的 一 个 重要 参数 。 基 音 是 指 发 浊音 时 声带 振动 的 周期 性 ， 这 种 周 
期 称 作 基 音 周 期 ， 它 的 倒数 称 作 基 音 频率 。 基 音 周期 只 具有 准 周期 性 ， 所 以 只 能 采用 短 时 平 
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计算 每 帧 短 时 能 量 构成 的 序列 
e(0), e (1l), :::, e(n) 


计算 每 帧 短 时 过 零 率 构成 的 序 


D/O0), f(D), ,fn) 





计算 每 帧 能 频 值 构成 的 序列 ef 
(0), ef (1D), …, ef (1) 












































当前 t 即 为 语 
音 起 始点 


到 6-6 系统 端点 检测 流程 医 




















均 方法 估计 该 周期 ， 这 个 过 程 也 常 称 为 基 音 检测 ， 分 别 调用 以 下 四 个 函数 进行 处 理 : 

getACF 〈) 一 一 求解 自 相 关 函 数 : 因为 清音 不 具有 准 周期 性 ， 所 以 基 音 检测 只 能 针对 浊 
音信 号 。 浊 音信 号 的 自 相关 函数 会 在 基 音 周期 的 整数 倍 位 置 上 出 现 峰 值 ， 因 此 检测 自 相 关东 
数 是 否 有 峰值 可 以 判断 是 清音 还 是 浊音 ， 而 峰 峰 之 间 对 应 的 就 是 基 音 周期 ; 

pitchDetection ( ) 一 一 基因 检测 : 考虑 到 人 的 基 音 频率 都 在 60 ~450Hz， 且 语音 信号 采 
样 率 为 8kHz， 因 此 ， 可 去 除 每 帧 信号 的 前 16 个 点 ， 这 样 既 可 以 减少 计算 量 ， 又 可 以 提高 
法 的 精度 。 对 每 一 帧 进行 基 音 频率 估计 的 步 又 如 下 : 

首先 对 一 帧 语音 信号 {5,(m)| 进行 滤波 去 除开 头 的 16 个 输出 值 ， 得 到 {5,(m)1; 然 
后 分 别 求 15',(m)| 前 100 个 采样 点 和 后 100 个 采样 点 的 最 大 幅度 ， 并 取 其 中 较 小 的 一 个 ， 
乘 以 因子 0. 68 作为 门限 电 平 L; 接着 对 {5,(m)1 进行 中 心 前 波 得 到 1y(m)|; 再 计算 
1y(m)| 的 自 相关 值 RE) ， 其 中 =1 ~124 (去 点 前 的 第 16 ~140 个 点 ) 时 对 应 基 音 频率 范 
围 57 ~ 500Hz，R(0) 对 应 于 短 时 能 量 ; 最 后 得 到 自 相关 值 后 ， 可 以 得 到 R(1)，…， 
R(124) 中 的 最 大 值 Rs。， 如 果 R,, <0.25R(0) ， 则 认为 本 帧 为 清音 ， 令 其 基 音 周期 为 0; 否 
则 基 音 周期 即 为 REF) ， 取 最 大 值 尺 .. 时 位 置 开 的 值 ， 基 音频 率 即 为 基 音 周期 的 倒数 。 

getFrameLPC ( ) 一 一 输入 帧 数据 的 线性 预测 系数 : 线性 预测 系数 是 能 够 有 效 表征 语音 
























































101 


极点 模型 的 参数 ， 线 性 预测 分 析 的 思想 基于 语音 信号 样 点 间 存 在 相关 性 ， 每 个 语音 的 抽样 都 
能 够 用 过 去 若干 个 语音 抽样 或 者 它们 的 线性 组 合 来 和 逼 近 ; 

getFrameLPCC ( ) 一 一 由 LPC 得 到 LPC 倒 谱 : 一 般 采 用 倒 谱 系数 作为 系统 的 特征 参数 。 
它 的 主要 优点 是 可 以 较为 彻底 地 去 掉 语 音 产生 过 程 中 的 激励 信息 ， 反 映 出 声 道 响应 ， 因 此 往 
往 只 需 十 几 个 倒 谱 系数 就 能 较 好 地 描述 语音 信和 号 的 共振 峰 特 性 。 倒 谱 的 求解 过 程 实质 上 是 一 
个 同 态 处 理 过 程 ， 具 体 实现 是 调用 ACFToLPCCoef ( ) 一 一 由 自 相关 函数 求解 线性 预测 系数 
函数 ， 并 采用 lpcDurbin ( ) 一 一 杜 宾 递 推 方法 得 到 线性 预测 系数 。 

(3 生成 码 本 并 预存 :预存 就 是 把 每 一 个 待 识别 的 说 话 人 语音 看 作 一 个 信号 源 ， 用 一 个 
码 书 来 表征 ， 码 书 通过 从 该 说 话 人 的 训练 语音 序列 中 提取 特征 矢量 聚 类 而 成 。 通 过 特征 提取 
出 来 的 特征 矢量 首先 要 进行 量化 ， 即 将 若干 个 幅度 连续 取 值 的 时 域 采 样 信号 分 成 一 组 ， 构 成 
矢量 ,然后 用 若干 个 离散 的 数字 值 〈 或 称 为 标号 ) 来 表示 各 种 矢量 。 具 体 过 程 : 由 语音 信 
号 波形 终 上 个 样 点 的 每 一 帧 ,或 个 参数 的 每 一 参数 帧 ， 构 成 维 空间 的 一 个 矢量 ， 然 后 对 
这 个 矢量 进行 量化 。 也 束 是 将 有 维 无 限 空间 划分 为 MM 个 区 域 边界 ， 然 后 将 输入 矢量 与 这 些 
边界 进行 比较 ， 并 被 量化 为 “距离 ”最 小 的 区 域 边界 中 心 矢 量 值 ， 最 后 将 这 个 中 心 矢量 利 
用 SaveCodeBook () 函数 值 保存 在 一 个 码 本 中 。 

2) 识别 。 

识别 的 过 程 在 预 处 理 和 特征 提取 的 基础 上 ， 与 训练 过 程 相 同 ， 采 用 的 也 是 首先 对 预测 音 
频 文 件 进行 预 处 理 ， 然 后 提取 特征 参数 生成 码 本 ， 接 着 依次 与 码 本 库 中 的 码 本 进行 误差 均值 
计算 ， 最 后 选择 匹配 误差 平均 值 最 小 的 码 本 ， 输 出 识别 结果 。 判 决 中 主要 用 的 函数 为 : Dis- 
tanceMeasure ( ) 一 一 对 两 个 同 维 矢量 求 取 欧 氏 失真 度 ， 并 选择 失真 度 最 小 的 作为 识别 结果 。 

3) 实验 结果 。 

训练 时 的 语音 输入 是 :“ 我 是 北京 科技 大 学 信息 工程 学 院 的 研究 生 ”; 识别 时 输入 的 语 
首 是 “今天 是 2010 年 3 月 15 日 星期 一 ， 现 在 是 晚上 十 点 " 。 图 6-7a 编辑 框 表示 的 是 训练 时 
语音 预 处 理 和 特征 提取 的 情况 ， 可 以 看 出 如 表 6-1 所 示 信 息 : 


filename is codebook2 |! 















































- 

| laverageDistance[0]=54889.067374 

averageDistance[l]=26917. 193249 

averageDist ance[2]=54889, 067374 

averageDistance[3]=5d4889. 067374 

ee unce[d]=5d1889. 067374 
人 . 误 别 结 





=671 
PitchFrequence= 300. 163934 








E] 


a) b) 


图 6-7 实验 结果 显示 
a) 训练 结果 b) 识别 结果 图 


























表 6-1 训练 实例 参数 
有 效 帧 数 671 结束 帧 811 
基因 频率 均值 300. 163934 























102 


图 6-7b 编辑 框 表 示 的 是 识别 结果 。 模 板 库 中 暂时 存 有 5 个 模板 。 在 本 人 的 测试 语音 输 
人 后 ， 系 统 生 成 的 组 合 特征 参数 与 所 有 模板 进行 聚 类 ,发现 与 1 号 模板 的 距离 最 短 为 
26917. 193249 ， 与 其 他 模板 的 距离 都 远 远 大 于 这 个 值 。 由 于 本 实验 在 训练 时 输入 的 代号 是 
1， 最 后 识别 的 结果 也 是 与 1 号 匹配 ， 即 证 明 此 功能 基本 实现 。 

2. 视觉 说 话 人 识别 

在 人 与 人 的 交互 过 程 中 信息 大 部 分 来 源 于 视觉 ， 因 为 人 的 脸 部 图 像 或 者 说 人 脸 特征 存在 
极其 复杂 的 差异 性 ， 正 如 每 片 树叶 都 不 同一 样 ， 人 脸 也 各 不 相同 。 当 人 与 情感 机 器 人 交互 
时 ， 同 样 需要 让 情感 机 器 人 观察 到 人 的 面部 表情 ， 与 此 同时 人 也 需要 观察 到 机 器 人 的 面部 表 
情 。 第 5 章 的 机 器 视觉 部 分 详细 介绍 了 如 何 让 情感 机 器 人 观察 、 识 别 、 跟 踪 人 的 面部 表情 。 
既然 视觉 通道 蕴含 巨大 的 信息 量 和 极 快 的 传递 与 处 理 速 度 ， 那 么 如 何 来 描述 一 个 人 的 模样 
呢 ? 如 果 我 们 用 程序 语言 来 描述 一 个 人 的 模样 ， 花 很 长 时 间 也 未 必 能 说 得 清楚 ， 所 以 情感 机 
带 人 就 不 能 对 人 进行 识别 ， 而 对 视觉 来 说 看 一 眼 就 一 目 了 然 了 。 我 们 就 采用 以 下 流程 对 说 话 
人 进行 识别 。 

(1) 人 脸 识别 流程 

说 话 人 识别 的 结构 如 图 6-8 所 示 。 首 先 对 输入 的 人 脸 图 像 或 图 像 序列 进行 人 脸 检测 和 定 
位 ， 即 从 输入 人 脸 图 像 中 找到 人 脸 ， 确 定 人 脸 位 置 ， 并 将 人 脸 从 背景 中 分 割 出 来 ， 接 着 对 分 
割 出 来 的 人 脸 图 像 进行 标准 化 。 这 里 ， 人 脸 检 测 与 定位 和 标准 化 所 做 的 都 是 人 脸 图 像 的 预 处 
理工 作 。 然 后 对 标准 化 的 人 脸 图 像 进行 特征 提取 ， 最 后 完成 说 话 人 识别 ， 得 到 识别 结果 。 


人 脸 图 像 或 
人 脸 识 别 

















































图 像 序列 识别 结果 





特征 提取 








图 6-8 人 脸 识 别 的 流程 示意 图 


(2) 人 脸 图 像 的 预 处 理 

人 脸 图 像 的 预 处 理 主要 是 人 脸 图 像 的 检测 与 定位 和 图 像 标准 化 问题 。 无 限定 条 件 被 摄 对 
象 的 检测 与 定位 具有 广泛 的 实用 价值 和 理论 研究 价值 ， 也 是 说 话 人 识别 中 必须 首先 解决 的 问 
题 。 说 话 人 识别 中 人 脸 图 像 对 光照 环境 的 变化 非常 敏感 ， 随 着 化 妆 、 有 眼镜 、 间 须 及 发 型 的 变 
化 而 变化 ， 这 是 说 话 人 识别 的 难点 。 

所 谓 人 脸 检 测 就 是 要 找 出 人 脸 可 能 存在 的 区 域 ， 通 过 人 脸 所 有 可 能 存在 的 区 域 与 人 脸 模 
型 的 匹配 度 来 确定 ， 这 个 过 程 也 是 对 人 脸 的 建 模 过 程 。 人 脸 检测 是 基于 知识 与 统计 的 ， 其 方 
法 基本 上 可 分 为 两 大 类 ， 即 基于 知识 的 方法 和 基于 统计 的 方法 。 

基于 知识 的 方法 是 依据 人 脸 的 知识 规定 若干 准则 ， 使 人 脸 检 测 问题 转化 为 假设 检验 问 
题 ， 这 种 人 脸 检 测 准 则 来 源 对 人 脸 的 直接 观察 ， 有 人 脸 絮 官 分 布 准则 、 人 上 脸 轮廓 准则 、 人 脸 
颜色 纹理 准则 、 相 对 背景 运动 准则 。 

基于 统计 的 方法 是 将 人 脸 图 像 视 为 一 个 高 维 向 量 ， 将 人 脸 检 测 问题 转化 为 高 维 空间 中 分 
布 信号 检测 问题 ， 它 不 像 基 于 知识 的 方法 那么 直观 。 常 用 的 基于 统计 的 人 脸 检 测 方法 有 3 
种 ， 即 事例 学 习 法 、 子 空间 法 和 空间 匹配 滤波 天 法 。 

我 们 将 人 脸 检 测 与 定位 算法 归 为 以 下 4 类 : 

1) 拓扑 法 ， 即 通过 先 定 位 眼睛 再 根据 人 脸 的 生理 比例 确定 人 脸 的 方法 。 因 为 直接 利用 
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灰 度 信息 ， 对 光照 条 件 敏感 ， 所 以 这 类 方法 要 求 图 片 的 眼 部 有 较 高 的 质量 ， 并 能 确保 其 具有 
一 定 的 尺寸 。 

2) 特征 脸 检 测 ， 即 利用 主 元 分 析 法 训练 和 检测 人 脸 。 这 类 方法 定位 准确 ， 但 算法 复 
杂 ， 计 算 量 大 ， 实 时 性 差 。 

3) 采用 神经 网 络 的 方法 ， 此 方法 不 适用 于 人 脸 跟 踪 。 

4) 借用 肤色 来 确定 人 脸 的 位 置 ， 此 方法 实时 性 较 好 。 同 种 族人 的 面部 肤色 在 颜色 空间 
中 的 分 布 相 对 比较 集中 ， 颜 色 信息 在 一 定 程度 上 可 以 将 人 脸 与 大 部 分 背景 区 分 开 。 

人 脸 图 像 标 准 化 的 目的 是 将 背景 、 头 发 、 服 装 等 对 人 脸 识 别 无 用 或 造成 干扰 的 元 余 信息 
或 干扰 信息 去 除 ， 使 人 脸 图 像 经 过 标准 化 算法 涨 后， 这 样 不 仅 可 以 保留 人 脸 的 主要 信息 ， 还 
有 利于 后 续 的 特征 提取 与 人 脸 识别 。 进 行人 脸 图 像 标准 化 时 ， 首 先 需 要 标定 人 脸 的 左右 边界 
以 及 眼 、 嘴 的 位 置 ， 然 后 根据 这 些 标定 参量 对 图 像 进行 裁 前 。 其 次 应 确定 一 个 图 像 缩放 系数 
对 图 像 进行 缩放 ， 系 数 的 选 定 有 不 同 的 方法 ， 传 统 的 方法 是 先 确定 人 眼 的 2 个 瞳孔 位 置 ， 并 
将 2 个 瞳孔 之 间 的 距离 作为 比例 系数 进行 图 像 的 缩放 。 

(3) 人 脸 图 像 的 特征 提取 与 识别 

寺 征 提取 是 对 模式 所 包含 的 输入 信息 进行 处 理 和 分 析 ， 将 不 易 受 随机 因素 干扰 的 基本 固 
有 信息 作为 该 模式 的 特征 提取 出 来 。 特 征 提取 过 程 是 根据 实际 应 用 要 求 去 除 宛 余 信 息 的 过 
程 ， 具 有 提高 识别 精度 、 减 少 运 算 量 和 提高 运算 速度 的 作用 。 良 好 的 特征 应 具有 可 区 分 性 、 
稳定 性 和 独立 性 。 从 数学 角度 上 讲 ， 特 征 提取 过 程 是 一 个 向 量变 换 的 过 程 ， 即 从 原 模式 向 量 
X= (xi，2，…，) 变换 到 特征 向 量 己 = (有 1, 户 ， …, 万 ) 的 过 程 。 其 中 ,nn 称 为 数据 空 
间 维 数 ; m 称 为 特征 空间 维 数 。 

人 脸 识别 本 质 上 是 三 维 塑 性 物体 二 维 投影 图 像 的 匹配 问题 ， 它 的 困难 体现 在 : 

1) 人 脸 塑 性 变形 如 表情 等 的 不 确定 性 ; 

2) 人 脸 模 式 的 多 样 性 ， 如 胡须 、 发 型 、 眼 镜 、 化 妆 等 ; 

3) 图 像 获 取 过 程 中 的 不 确定 性 ， 如 光照 的 强度 、 光 源 方 向 、 干 扰 噪声 等 。 

人 脸 识别 主要 依据 人 脸 上 的 特征 ， 也 就 是 说 ， 依 据 那些 在 不 同 个 体 之 间 存 在 差异 而 对 于 
同一 个 人 具有 较 高 稳定 性 信息 的 度量 。 由 于 人 脸 变 化 具有 复杂 性 ， 因 此 人 脸 特 征 表 述 和 特征 
提取 十 分 困难 。 

人 脸 图 像 的 特征 提取 与 识别 方法 可 归纳 为 几何 特征 法 、 特 征 脸 法 、 局 部 特征 法 、 弹 性 模 
型 法 、 神 经 网 络 法 、 不 变 矩 法 、 自 适应 主 元 提取 法 、 核 主 元 分 析 法 、 奇 蜡 值 特征 法 、 最 佳 鉴 
别 向 量 法 等 。 

(4) 应 用 实例 

本 应 用 实例 在 对 人 脸 识 别 的 原理 及 相关 技术 和 方法 进行 学 习 研 究 后 ， 利 用 清华 大 学 图 像 
处 理 实验 室 的 人 脸 识 别 开 发 包 〈 以 DLL 形式 提供 ) 。 在 视觉 通 道 的 说 话 人 识别 过 程 中 ， 包 括 
人 脸 的 注册 和 识别 两 个 流程 ， 流 程 框 图 可 如 图 6-9 所 示 。 

在 注册 流程 中 ， 首 先 检测 缓冲 区 图 像 中 所 有 满足 一 定 条 件 的 人 脸 位 置 ， 并 根据 检测 结 
有 定 眼睛 的 位 置 ， 然 后 根据 眼睛 位 置信 息 来 提取 人 脸 特 征 ， 将 其 存放 入 内 存 中 ， 形 成 人 脸 特 
征 模板 ， 供 识别 时 用 。 人 脸 识别 时 只 需 检 查 模 板 库 中 是 否 有 与 当前 缓冲 区 中 人 脸 特 征 相似 的 
人 脸 参 数 便 可 得 到 识别 结果 。 这 种 基于 模板 匹配 的 思路 与 前 面 所 说 的 听觉 通道 上 的 说 话 人 识 
别 相 似 。 图 6- 10 所 示 为 人 脸 注册 和 识别 实验 。 
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图 6-10 人 脸 注册 和 识别 实验 


在 图 6-10 中 ,注册 时 输入 的 身份 是 “妈妈 ”， 识 别 时 的 识别 结果 也 为 “妈妈 ”， 即 验证 
了 视觉 通道 的 说 话 人 识别 功能 基本 实现 。 


6.2.3 ”视线 交互 技术 


人 类 通过 视觉 获取 大 部 分 的 外 界 信息 ， 因 此 在 人 机 界面 设计 中 所 涉及 的 交互 技术 几乎 都 
需要 视觉 的 参与 。 例 如 ， 当 用 户 使 用 鼠标 控制 屏幕 上 的 光标 选择 感 兴趣 的 目标 时 ， 视 线 随 注 
意 点 聚集 到 该 目标 上 ， 然 后 检查 光标 与 该 目标 的 空间 差距 ， 再 反馈 给 大 脑 并 经 大 脑 指挥 手 移 
动 鼠 标 ， 直 至 视觉 判断 光标 已 位 于 目标 位 置 为 止 ， 此 交互 过 程 自始至终 都 离 不 开 视 觉 。 

如 果 用 户 盯 着 感 兴趣 的 目标 ， 情 感 机 器 人 便 “ 自 动 ” 将 光标 置 于 其 上 ， 人 机 交互 将 更 
为 直接 ， 视 线 跟 踪 技 术 的 目标 正在 于 此 。 早 期 的 视线 跟踪 技术 主要 应 用 于 心理 学 研究 、 助 残 
等 领域 ,后 来 被 应 用 于 图 像 压 缩 及 人 机 交互 技术 。 视 线 跟踪 技术 有 强迫 式 与 非 强 迫 式 、 穿 戴 
式 与 非 穿 戴 式 、 接 触 式 与 非 接触 式 之 分 。 视 线 追 踪 主 要 用 于 军事 领域 (如 飞行 员 观察 记 
录 ) 、 阅 读 及 帮助 残疾 人 通信 等 。 
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1. 视线 追踪 概述 

在 使 用 计算 机 界面 时 ， 眼 动 行为 和 视线 在 视觉 信息 加 工 过 程 中 起 着 重要 作用 。 在 正常 视 
觉 观察 过 程 中 ， 眼 动 不 是 平滑 的 和 连续 的 ， 而 是 由 注视 和 腿 跳 构成 的 交 蔡 序列 。 注 视 是 指 视 
线 在 某 一 位 置 停留 100 ms 以 上 ， 一 般 认 为 这 种 停顿 主要 用 于 从 界面 上 获取 信息 或 进行 内 部 
加 工 。 眼 跳 是 指 眼睛 在 两 个 注视 点 之 间 的 快速 跳动 ， 持 续 时 间 为 30 ~ 120 ms， 大 小 为 1 ~ 
40° ， 最 高 速度 可 达 400 ~ 600 "/s。 在 注视 中 也 存在 眼睛 快速 、 微 小 的 运动 ， 其 空间 大 小 不 
超过 1" ， 称 为 生理 震颤 (nystagmus) 。 眼 动 行 为 可 用 于 揭示 用 户 在 显示 器 上 注意 和 感 兴趣 的 
空间 位 置 ， 如 Loftus 和 Macorth (1978) 发 现 用 户 的 眼睛 多 注视 在 出 乎 意料 的 、 突 出 的 和 重 
要 的 区 域 上 ， 集 中 注意 以 获取 最 大 量 的 信息 量 。 人 类 的 视线 反映 出 人 的 注意 方向 ， 视 线 所 指 
通常 反映 用 户 感 兴趣 的 对 象 。 眼 睛 看 物体 的 过 程 是 转动 眼球 使 物体 出 现在 视网膜 的 中 央 四 
中 ， 因 此 眼球 的 位 置 指 示 了 我 们 注视 场景 中 的 特定 区 域 。 

由 于 视觉 交互 具有 直接 性 和 自然 性 ， 人 们 对 这 种 人 机 交互 方式 一 直 具 有 很 大 的 兴趣 ， 同 
时 ， 因 为 人 们 的 视线 中 包含 注视 方向 、 注 视 位 置 、 ee 
给 通过 计算 机 图 像 处 理 等 技术 手段 来 获得 并 记录 下 当前 的 视线 方向 和 落 点 位 置 提供 了 可 能 。 
he ei te 
学 等 现 有 检测 手段 获取 受 试 者 当前 “视觉 注意 ” (注视) 方向 的 技术 。 近年 来 ， 随 着 眼 动 理 

论 研 究 的 进步 和 精密 视线 追踪 装置 的 问世 ， 视 线 追 踪 技 术 已 经 发 展 到 了 可 以 实际 应 用 的 
程度 。 

2. 视线 追踪 原理 

视线 追踪 技术 源 于 对 人 类 眼睛 的 研究 ， 因 此 ， 要 介绍 视线 追踪 技术 首先 要 知道 人 类 的 眼 
球 结构 。 

在 视网膜 上 有 一 个 非常 特殊 的 小 区 域 ， 称 之 为 小 止 。 上 面 集中 了 绝 大 部 分 对 颜色 敏感 的 
细胞 ， 人 对 于 景物 细节 的 感知 全 有 赖 于 它 。 小 四 并 不 是 准确 的 位 于 由 眼球 和 瞳孔 中 心 所 确定 
的 光 轴 上 。 有 眼睛 的 光 轴 被 称 之 为 视线 (line of gaze LoC) ， 源 自 小 止 穿 过 瞳孔 中 心 的 线 称 为 
视觉 线 (line of sight LoS) 。 正 是 视觉 线 而 非 视 线 决 定 了 人 的 视觉 关注 。 如 果 可 以 估计 视线 
或 视觉 线 的 方向 并 且 掌 握 景物 的 信息 ， 那 么 关注 点 就 由 离 视线 和 视觉 线 交 叉 点 最 近 的 景物 来 
确定 。 人 有 眼 可 见 光 线 (visible light) 只 占 全 部 波长 中 的 一 小 段 ( 即 400 ~700nm)。 图 6-11 
所 示 为 人 眼 的 主要 结构 。 眼 睛 近似 于 球状 半径 约 12mm。 眼 睛 的 外 层 ， 可 见 的 依次 是 巩膜 
(白色 的 部 分 )， 虹 膜 (有 颜色 的 部 分 ) 和 瞳孔 〈 在 虹膜 中 心 ) 。 
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图 6-11 有 眼球 结构 图 
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角膜 是 一 层 透明 的 保护 膜 ， 它 保护 着 眼睛 前 端 突出 的 血管 ， 履 在 虹膜 外 面 。 虹 膜 中 心 有 
一 个 环 状 体 ， 称 作 瞳 孔 ， 它 的 作用 是 通过 持续 改变 大 小 来 调节 眼睛 的 进 光 量 。 虹 膜 后 面 是 唱 
状 体 ， 眼 球 中 一 种 透明 的 双 面 凸 体 ， 位 于 虹膜 与 玻璃 体 之 间 ， 可 使 穿 过 瞳孔 进入 眼球 的 光线 
聚集 在 视网膜 上 形成 图 像 。 视 网 膜 位 于 眼球 的 后 面 ， 列 含 大 量 感光 细胞 。 在 角膜 和 品 状 体 之 
间 是 水 样 体 ， 在 晶状体 和 视网膜 之 间 是 玻璃 体 。 光 线 在 进入 眼睛 后 穿 过 这 一 系列 光 介质 并 在 
各 个 层面 上 经 反射 和 折射 后 最 终 到 达 视 网 膜 。 

视线 追踪 技术 原理 如 图 6-12 所 示 ， 视 线 追 踪 技 术 由 两 部 分 构成 : 信息 获取 和 视线 方向 
































是 图 像 处 理 [三 肠 特 征 信息 | | ，[ 平面 视线 | 数学 模型 | 空间 视线 ，[ 果 视屏 平面 
| 和 a 方向 计算 | 落 点 计算 
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信息 获取 | 视线 方向 判断 











图 6-12 视线 追踪 技术 原理 图 








言 息 获取 是 指 眼 部 生物 特征 信息 的 检测 ， 而 视线 方向 判别 主要 是 指 根据 检测 到 的 眼 部 特 
征 信息 判别 视线 方向 并 获取 视线 落 点 。 视 线 追 踩 技术 是 利用 眼 部 某 些 结构 和 特征 ， 在 眼球 转 
动 时 相对 位 置 不 变 ， 将 其 作为 参照 ， 然 后 在 位 置 变化 特征 和 不 变 特 征 之 间 提 取 视 线 变 化 参 
数 ， 这 些 参数 是 判别 视线 方向 的 主要 依据 。 据 此 ， 可 将 视线 追踪 方法 分 为 两 类 : 一 类 是 通常 
在 普通 光照 条 件 下 ， 利 用 眼角 、 了 眼皮 、 了 眼眶 等 其 他 眼 部 结构 的 位 置 、 形 状 不 变性 来 提取 视线 
方向 参数 。 在 自然 光照 的 条 件 下 ， 虽 不 能 将 瞳孔 与 虹膜 分 开 ， 但 可 以 认定 二 者 是 同心 圆 ， 且 
在 眼 动 过 程 中 是 同步 变化 的 。 这 样 可 以 利用 虹膜 相对 于 眼角 的 变化 来 提取 视线 方向 变化 
参数 。 

男 一 类 是 在 红外 光照 条 件 下 的 瞳孔 -角膜 反射 法 ,假设 角膜 是 规则 的 球面 ， 普 尔 钦 斑 作 
为 光源 在 角膜 球面 上 成 的 像 ， 无 论 球面 如 何 转动 该 斑点 在 球面 上 的 绝对 位 置 不 会 发 生 太 大 变 
化 。 这 样 ， 当 眼球 转动 时 ， 亮 斑 在 球面 上 的 位 置 基 本 不 变 。 普 尔 钦 斑 点 作为 一 个 位 置 标准 ， 
在 视线 方向 发 生变 化 时 可 以 通过 它 提 取 相 应 变化 的 参数 。 

通过 眼 部 特征 的 检测 ， 可 以 获得 人 有 眼 视线 方向 估计 的 平面 参数 ， 如 上 文中 的 普尔 钦 斑 中 
心 至 瞳孔 中 心 矢 量 。 然 后 利用 平面 视线 参数 计算 3D 视线 方向 。 在 空间 视线 方向 计算 阶段 ， 
主要 采用 两 种 数学 模型 : 一 种 是 从 眼球 的 生理 结构 出 发 ， 建 立 空间 几何 模型 ;， 另 一 种 是 从 效 
果 出 发 ， 建 立 平面 参数 与 视线 落 点 平面 坐标 的 映射 模型 。 

3. 应 用 实例 

视线 追踪 模块 的 代码 移植 自 北京 科技 大 学 王 志 良 教授 带领 的 机 器 人 研究 实验 室 “ 视 线 
追踪 ”课题 组 开发 的 视线 追踪 程序 。 视 线 追 踪 设 备 有 一 套 硬件 系统 和 一 套 上 位 机 程序 。 视 
线 追踪 系统 利用 瞳孔 - 角膜 反射 (PCCR) 技术 得 到 用 户 视 线 在 屏幕 上 的 落 点 ， 并 将 该 落 点 
坐标 提取 出 来 。 视 线 追 踪 的 硬件 设备 如 图 6- 13 所 示 。 
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在 编写 视线 追踪 模块 程序 时 ， 通 过 掌握 视线 追踪 的 原理 以 及 视线 追踪 程序 的 整体 结构 和 
运行 流程 ， 并 根据 “虚拟 管家 软件 ”中 虚拟 情感 机 器 人 的 需求 和 程序 结构 ， 对 原 视线 追踪 
代码 进行 了 适当 的 修改 和 删 减 ， 提 取出 我 们 所 需要 的 核心 代码 。 然 后 ， 对 这 部 分 核心 代码 进 
行 重新 设计 ， 封 装 成 视线 追踪 模块 ， 并 设计 编写 了 模块 的 接口 卫 数 。 最 后 将 视线 追踪 模块 加 
入 到 “虚拟 管家 软件 ”程序 中 。 在 主 程序 中 调用 视线 追踪 模块 的 接口 函数 ， 成 功 实现 视线 
追踪 功能 。 程 序 流 程 图 如 图 6-14 所 示 。 

















初始 化 设备 


设置 检测 范围 


注册 处 理 检测 


设置 检测 参数 





















释放 资源 退出 
视线 追踪 


图 6-13 ”视线 追踪 硬件 设备 图 6-14 视线 追踪 模块 流程 图 





1) 初始 化 设备 。 视 线 追 踪 模 块 需要 用 到 图 像 采 集 卡 和 摄像 头等 硬件 设备 ， 所 以 在 开始 
检测 前 需要 对 这 些 设备 进行 初始 化 。 调 用 视线 追踪 模块 的 gzInit 接口 进行 初始 化 。 

2) 设置 检测 范围 。 这 一 步 用 来 设置 视线 追踪 程序 的 检测 范围 ， 可 以 指定 检测 范围 为 屏 
幕 上 某 一 区 域 。 默 认 检 测 范围 为 全 屏幕 。 调 用 视线 追踪 模块 的 gzSetScreenRect 接口 进行 
设置 。 

3) 注册 处 理 检测 结果 的 函数 。 该 步 用 来 设置 程序 检测 结果 的 处 理 函 数 。 本 模块 的 处 理 
结果 函数 SendXY ( ) ， 可 向 主 窗口 发 送 视 线 落 点 坐标 。 通 过 向 两 个 函数 指针 OnRegion 和 
OnPos 传递 值 来 实现 注册 。 

4) 设置 检测 参数 。 不 同 用 户 的 脸 部 特征 各 不 相同 ， 为 每 个 用 户 设置 不 同 的 检测 参数 有 
利于 提高 检测 精确 度 。 每 名 用 户 的 参数 都 存储 在 一 个 指定 的 文本 文件 中 ， 通 过 调用 视线 追踪 
模块 的 gzSetParameters 接口 来 读 取 文 本 文件 中 的 参数 进行 设置 。 

5) 检测 视线 落 点 。 通 过 调用 视线 追踪 模块 的 gzStart 接口 开始 进行 视线 追踪 。 

6) 向 主 窗口 发 送 视线 落 点 坐标 。 检 测 到 视线 落 点 之 后 调用 在 第 三 步 中 注册 的 结果 处 理 
函数 向 主 窗口 发 送 视线 落 点 坐标 。 

7) 判断 是 否 退 出 视线 追踪 检测 。 如 果 不 退 出 则 转 到 第 5 步 。 如 果 退 出 则 转 到 第 八 步 。 
释放 占用 的 内 存 空 间 和 设备 资源 退出 视线 追踪 。 

下 面 是 利用 视线 追踪 技术 替代 鼠标 单 击 按钮 的 实验 示例 : 
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图 6- 15 所 示 为 通过 视线 追踪 技术 将 用 户 在 功能 按钮 区 的 视线 与 鼠标 关联 ， 即 将 用 户 的 
视线 用 鼠标 来 形式 化 、 可 视 化 。 此 时 知 检测 到 鼠标 在 “对 话 聊天 ”按钮 上 停留 超过 5s， 则 
做 出 用 户 想 激活 此 按钮 的 判断 。 
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图 6-15 ”利用 视线 追踪 技术 替代 鼠标 单 击 按钮 实验 


6.3 ”人 机 交互 系统 的 设计 与 评估 


6.3.1 人 机 交互 系统 的 设计 


人 机 交互 正 朝 着 自然 和 谐 的 人 机 交互 技术 和 用 户 界面 的 方向 发 展 ， 这 也 是 设计 交互 式 系 
统 的 核心 所 在 : 将 用 户 放 在 第 一 位 ， 坚 持 以 用 户 为 中 心 。 程 序 设计 人 员 在 长 期 的 软件 研究 与 
开发 过 程 中 ， 积 累 了 大 量 的 人 机 交互 经 验 ， 这 对 研制 、 设 计 一 个 成 功 的 应 用 系统 是 十 分 有 效 
的 。 这 些 经 验 的 结晶 就 构成 了 人 机 交互 系统 的 基本 设计 原则 。 

1) 用 户 控 制 原则 : 在 人 机 交互 软件 设计 中 ， 应 该 让 用 户 时 刻 感到 是 自己 在 控制 计算 
机 ， 而 不 是 被 计算 机 控制 。 这 主要 体现 在 用 户 可 以 控制 并 改变 软件 系统 的 工作 环境 并 选择 操 
作 方 式 。 例 如 ; 用 户 可 以 控制 软件 地 输入 /输出 处 理 方 式 ， 改 变 交互 状态 ， 选 择 界面 的 颜色 
及 背景 音乐 等 。 

2) 直观 性 原则 : 实现 拟人 的 交互 方式 ， 按 人 类 容易 理解 的 形式 表示 处 理 结果 ; 采用 生 
动 形象 的 方法 来 缩短 用 户 与 计算 机 系统 之 间 的 距离 ， 直 接 以 声音 和 图 形 来 提示 操作 步骤 ,使 
用 户 一 听 就 仅 、 一 看 就 会 。 

3) 可 视 性 原则 : 可 视 化 设计 是 软件 界面 设计 中 一 项 非常 重要 的 方面 。 大 量 采 用 可 视 化 
(Visual) 技术 和 隐喻 、 比 拟 的 手法 可 以 减少 用 户 使 用 计算 机 的 困难 。 

4) 易 用 性 原则 : 具体 体现 在 以 下 几 个 方面 : 

d) 用 户 无 须 事先 学 习 许 多 使 用 该 系统 的 知识 和 规定 ， 上 机 后 按照 屏幕 上 的 提示 信息 即 
可 进行 操作 。 

@) 为 了 给 用 户 及 时 提供 帮助 ， 应 该 对 每 个 选择 项 配备 语音 和 文字 说 明 ， 当 用 户 遇 到 朵 
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难 时 可 以 很 快 得 到 解答 。 

(3 鼓励 用 户 实践 ， 允 许 操作 失误 而 不 会 破坏 系统 正常 工作 ， 能 够 及 时 发 现 用 户 的 错误 
操作 ， 并 予以 纠正 。 

5) 及 时 响应 原则 : 能 对 用 户 的 操作 尽 可 能 敏感 地 作出 反应 。 在 接受 指令 后 用 户 对 计算 
机 毫 无 反应 的 忍耐 时 间 通 常 在 3 ~5s， 若 软件 需要 进行 一 项 耗 时 的 工作 ， 必 须 向 用 户 反 馈 其 
工作 进程 。 

6) 简洁 性 原则 : 软件 界面 必须 简洁 ， 选 择 项 力求 精练 ， 措 词 要 准确 ， 图 标 要 形象 生 
动 ， 使 用 户 一 目 了 然 。 切 忌 繁 杂 的 画面 和 宛 长 的 说 明 。 

7) 一 致 性 原则 : 包括 交互 一 致 性 、 作 用 一 致 性 、 表 象 一致 性 、 比 拟 一 致 性 和 范畴 一 致 
性 等 。 这 些 一 致 性 使 用 户 能 把 现 有 的 知识 传递 到 新 任务 中 去 ， 可 以 更 快 学 习 到 新 的 知识 。 在 
所 有 界面 元 素 的 设计 过 程 中 ， 保 持 一 致 性 极为 重要 。 

自然 和 谐 的 人 与 情感 机 器 人 交互 是 在 视觉 、 听 觉 、 触 党 、 味 觉 和 嗅觉 这 五 种 感官 通道 上 
进行 的 交互 过 程 。 因 此 ， 在 设计 完整 的 人 机 交互 系统 软件 时 ， 除 了 依据 以 上 所 述 的 原则 外 ， 
还 要 考虑 多 通道 的 交互 及 其 相互 融合 。 多 感官 输入 能 改进 我 们 与 现实 世界 的 交互 ， 利 用 多 感 
官 通道 的 交互 系统 将 提供 更 加 丰富 的 交互 体验 。 


6.3.2 人 机 交互 系统 的 评估 


既然 人 机 交互 系统 的 设计 是 以 人 为 中 心 ,那么 它 的 评估 也 应 是 人 对 其 可 用 性 、 功 能 性 和 
可 接受 性 的 测试 。 评 佑 有 三 个 主要 目标 : 评 佑 系统 功能 的 范围 和 可 达 性 、 评 佑 交互 中 用 户 的 
经 验 和 确定 系统 的 任何 特定 问题 。 系 统 功能 性 是 重要 的 ， 必 须 与 用 户 的 需求 一 致 ， 换 句 话 
说 ， 系 统 设计 要 使 用 户 更 容易 地 执行 他 们 期 望 的 任务 ， 这 不 仅 包括 使 系统 具有 合适 的 功能 ， 
也 包括 用 户 能 够 清楚 地 得 到 需要 执行 任务 的 一 系列 行为 ， 还 包括 将 系统 的 应 用 匹配 到 用 户 对 
任务 的 期 望 中 。 

除了 依照 系统 的 功能 评估 系统 设计 外 ， 评 佑 用 户 的 交互 体验 和 系统 对 用 户 的 影响 也 是 很 
重要 的 。 例 如 对 我 们 设计 的 面向 数字 家 庭 的 虚拟 管家 软件 平台 的 评估 ， 很 重要 的 一 个 方面 就 
是 数字 家 庭 中 家 庭 成 员 的 体验 评价 ， 这 也 就 涉及 一 个 更 深层 次 的 问题 ， 那 就 是 如 何在 数字 家 
庭 中 建立 一 个 良好 的 人 机 交互 模型 。 当 然 还 有 用 户 界面 方面 的 评估 等 。 

总 之 ， 我们 在 研究 人 与 情感 机 器 人 交互 时 ， 需 要 坚持 以 人 为 中 心 ， 然 后 进行 多 方面 的 
考虑 。 
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第 7 章 软件 集成 


第 6 章 介绍 了 虚拟 情感 机 器 人 与 人 的 交互 与 合作 ， 本 章 将 要 介绍 的 是 物理 情感 机 器 人 与 
人 的 交互 与 合作 。 主 要 内 容 包 括 介绍 上 位 机 程序 的 设计 与 集成 ， 上 位 机 程序 对 情感 机 器 人 的 
控制 ， 以 及 人 与 情感 机 器 人 的 交互 功能 。 本 章 将 重点 通过 对 整体 设计 思路 以 及 各 个 模块 的 具 
体 设计 方式 向 大 家 讲述 软件 平台 的 搭建 ， 如 图 7-1 所 示 。 
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PERM IEA 


我 航 采 仿生 池 营 座 
2 




















图 7-1 物理 情感 机 器 人 软件 平台 


本 章 对 各 模块 之 间 的 关系 ， 以 及 各 模块 间 相 互通 信 的 方式 进行 了 详细 介绍 ， 最 终 实现 机 
器 人 与 人 的 情感 交互 功能 。 北 京 科技 大 学 王 志 良 教授 带领 的 机 器 人 人 研究 实验 室 制作 的 机 器 人 
如 图 7-2 所 示 。 
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7-2 北京 科技 大 学 王 志 良 教授 带领 的 机 器 人 研究 实验 室 制 作 的 机 器 人 
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其 中 第 一 个 机 器 人 可 以 实现 简单 的 人 机 交互 功能 ; 第 二 个 机 器 人 在 外 形 上 做 了 很 大 的 改 
进 ， 更 加 类 似 于 人 型 ， 并 能 实现 人 机 交互 的 基本 功能 ; 第 三 个 机 器 人 是 仿 人 机 器 人 ， 能 够 实 
现 模仿 人 的 简单 表情 ; 第 四 个 机 器 人 也 是 仿 人 机 器 人 ， 该 机 器 人 模仿 爱 因 斯 坦 的 外 形 ， 能 够 
实现 各 种 面部 表情 表演 ， 能 够 与 人 进行 语音 交互 。 


7.1 情感 机 器 人 体系 结构 规划 设计 


体系 结构 是 情感 机 器 人 系统 研究 的 一 个 重要 内 容 ， 是 指 在 智能 机 器 人 系统 中 智能 、 
为 、 信 息 、 控 制 的 时 空 分 布 模式 ， 是 机 器 人 智能 的 逻辑 载体 。 体 系 结 i 
计 、 控 制 机 器 人 的 硬件 和 软件 系统 ， 最 终 实现 情感 机 器 人 所 需要 完成 的 功能 。 在 实际 的 情感 
机 器 人 与 人 交互 或 完成 作业 过 程 中 ， 情 感 机 器 人 需要 面 对 一 个 不 断 变 化 的 环境 ， 在 这 样 的 环 
境 中 ,情感 机 器 人 需要 保持 对 各 种 情况 的 及 时 反应 ,决策 规划 行为 ， 以 及 时 进行 和 谐 的 交 
互 。 为 使 情感 机 器 人 表现 出 这 样 的 特质 ， 进 行情 感 机 器 人 控制 体系 结构 的 研究 是 必要 的 。 


7.1.1 国内 外 研究 现状 


任何 机 器 人 都 有 自己 的 体系 结构 ， 不 同体 系 结构 的 个 体 ， 决 策 所 采用 的 方法 、 过 程 也 不 
尽 相 同 。 通 常 对 机 器 人 体系 结构 的 研究 有 两 个 层面 ， 一 个 是 系统 的 功能 逻辑 层面 ， 主 要 研究 
如 何 使 机 器 人 具有 更 强大 的 完成 任务 的 能 力 ， 属 于 体系 结构 的 功能 设计 ; 另 一 个 层面 是 体系 
结构 的 实现 模型 ， 主 要 研究 机 器 人 控制 的 软 硬 件 实现 问题 。 

机 器 人 的 控制 体系 结构 研究 有 两 种 主要 研究 方法 ， 传 统 的 基于 认 知 模型 的 功能 规划 法 和 
近来 兴起 的 基于 行为 的 方法 。 目 前 ， 上 自主 式 智能 系统 可 分 为 以 下 几 类 : 

1. 传统 结构 

传统 的 机 器 人 控制 体系 结构 源 自 基 于 认 知 的 人 工 智能 (AI) 模型， 在 AI 模型 中 ， 智 能 
任务 由 运行 于 符号 模型 之 上 的 推理 过 程 来 实现 ， 它 强调 以 环境 模型 为 基础 的 抽象 推理 ， 是 机 
器 人 智能 不 可 缺少 的 组 成 部 分 ， 而 且 该 模型 必须 是 准确 的 、 一 致 的 。 因 此 传感器 信息 的 校 验 
具有 与 模型 本 身 同等 的 重要 性 。 并 且 传 统 方法 遵循 的 是 一 条 从 感知 到 动作 的 串 行 功能 分 解 控 
制 路 线 ， 是 一 种 典型 的 自 顶 向 下 构建 系统 的 方法 ， 如 图 7-3 所 示 。 从 这 个 意义 上 讲 ， 动 作 不 
是 传感器 数据 直接 作用 下 的 结果 ， 而 是 经 历 一 系列 从 感知 、 建 模 到 规划 等 处 理 阶 段 之 后 产生 
的 结果 ， 这 类 系统 的 特点 是 能 够 完成 用 户 明 确 描述 的 特定 任务 。 但 世界 模型 过 于 理想 化 ， 对 
感知 器 提出 了 一 些 不 切实 际 的 要 求 ， 而 且 由 于 认 知 过 程 和 符号 化 世界 模型 的 建立 过 程 中 存在 
的 计算 瓶 开 ， 使 得 传感器 到 驱动 机 构 的 控制 环 路 中 存在 着 延 时 ， 因 而 缺乏 实际 运行 所 要 求 的 
实时 性 和 灵活 性 
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2. 分 层 递 阶 式 结构 

美国 学 者 Saridis 提出 一 种 关于 智能 控制 系统 的 三 级 分 层 递 阶 式 体系 结构 ， 其 分 层 的 原 
则 是 随 着 控制 精度 的 增加 智能 降低 ， 较 好 地 解决 了 智能 和 控制 精度 的 问题 。 分 层 递 阶 结构 一 
般 按 功能 要 求 划 分 系统 模块 ， 模 块 之 间 以 分 层 递 阶 方式 相 联系 。 每 层 只 能 与 其 相 邻 的 上 下 层 
交换 信息 ， 下 层 要 等 待 上 层 的 规划 ， 上 层 要 等 待 下 层 任务 的 完成 。 其 优点 是 系统 的 功能 和 层 
次 分 明 ， 易 于 实现 ， 且 能 满足 一 些 复 杂 任 务 的 要 求 。 典 型 的 形式 如 图 7-4 所 示 。 但 是 该 结构 
由 于 采用 串 行 处 理 方式 ， 使 得 对 外 部 事件 的 反应 时 间 变 长 ， 任 何 环境 的 变化 都 有 可 能 导致 重 
新 规划 的 发 生 ， 从 而 降低 了 任务 完成 的 效率 。 

3. 包容 式 体 系 结构 

包容 式 体系 结构 是 美国 麻 省 理工 学 院 的 R. Brooks 提出 的 ， 其 结构 图 如 图 7-5 所 示 。 包 
容 体 系 结构 模拟 了 动物 反应 式 行为 的 特点 ,采用 所 谓 “ 感 知 一 动作 ”的 结构 ， 也 称 基 于 行 
为 (Behaviour -based) 的 结构 ， 否 定 知识 符号 表示 的 重要 性 。 实 验 表明 ， 包 容 体系 结构 在 
动态 环境 中 不 确定 性 处 理 和 模仿 动物 的 低级 反射 行为 方面 具有 很 多 优点 。 包 容 式 体系 结构 强 
调 了 单元 的 独立 、 并 行 工作 ， 缺 少 全 局 的 指导 和 协调 ， 对 于 长 远 的 全 局 性 目标 跟踪 缺少 主动 
性 ， 目 的 性 较 差 。 


功能 层 N 
功能 层 N-1 



































功能 层 2 























图 7-4 分 层 递 阶 式 体系 结构 图 7-5 包容 式 体系 结构 


4. 混合 式 体 系 结构 
混合 式 体系 结构 是 一 种 综合 分 层 递 阶 式 结构 和 包容 式 体系 结构 二 者 优点 的 体系 结构 ， 以 
克服 分 层 递 阶 式 体系 结构 在 不 确定 和 未 知 环境 中 建 模 困难 、 实 时 性 和 适应 性 差 等 缺点 ; 同时 
实现 对 已 有 环境 信息 进行 有 效 表示 和 利用 ， 完 成 单一 结构 无 法 实现 的 复杂 导航 任务 。 

5. 基于 功能 /行为 集成 的 进化 体系 结构 

基于 传统 AI 认 知 模型 的 机 器 人 控制 结构 缺乏 实用 性 和 必要 的 灵活 性 与 普 适 性 ; 以 
R. Brooks 的 SA 结构 为 代表 的 基于 行为 的 控制 体系 结构 提高 了 系统 的 响应 速度 和 自主 性 ， 但 
同样 存在 着 缺乏 必要 的 理性 和 受到 诸如 设计 者 预见 能 力 限 制 等 问题 。 为 此 ， 他 提出 了 一 种 毕 
合 二 者 优点 的 体系 结构 ， 并 在 其 中 融入 进化 控制 的 思想 ， 即 基于 功能 /行为 集成 的 进化 体系 
结构 ， 整 个 体系 结构 包括 进化 规划 与 基于 行为 的 控制 两 大 模块 。 这 种 综合 体系 结构 的 优点 是 
使 系统 既 具 有 基于 行为 的 实时 性 ， 又 保持 了 基于 功能 的 目标 可 控 性 。 将 其 应 用 于 移动 机 器 人 
的 控制 取得 较 好 效果 。 
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6. 基于 人 工 情感 的 拟人 机 器 人 控制 体系 结构 

对 人 工 情感 〈 即 机 需 的 情感 ) 的 研究 分 为 两 种 : 外 在 情感 和 内 在 情感 。 前 者 是 研究 机 
器 如 何 表达 它 的 情感 以 及 机 器 如 何 检测 人 所 表达 的 
情感 ， 目 的 是 建立 一 种 和 谐 的 人 机 交互 环境 ， 即 
所 谓 的 情感 计算 。 后 者 的 目的 则 是 研究 如 何在 计 
算 机 内 部 应 用 情感 来 对 其 决策 过 程 做 出 贡献 ， 其 
研究 的 合理 性 已 得 到 神经 科学 家 Damasio 实验 研 
究 证 据 的 支持 。 在 此 基础 之 上 ， 提 出 了 基于 人 工 
情感 的 拟人 机 器 人 控制 体系 结构 ， 根 据 机 体 标记 
理论 ， 在 资源 受 限 的 条 件 下 ， 通 过 不 完全 复 现 部 
分 表达 交互 过 程 ， 以 人 工人 情感 为 核心 设计 了 如 图 
7-6 所 示 的 机 器 人 控制 体系 结构 ， 在 这 种 结构 中 ， 
See eg 

Ws 机 器 人 控制 体系 结构 

7.1.2 基于 人 工 心理 认 知 /行为 的 分 层 式 交互 机 器 人 体系 结构 


机 器 人 是 智能 模拟 的 重要 手段 和 研究 载体 ， 其 体系 结构 决定 了 机 器 人 智能 、 行 为 、 信 
息 、 控 制 的 时 空 分 布 模式 ， 也 从 根本 上 决定 了 机 器 人 的 智能 水 平和 行为 方式 。 

具有 情感 的 智能 机 器 人 主要 应 用 于 直接 与 人 进行 面对面 的 交互 场合 ， 为 人 类 提供 信息 查 
询 或 者 娱乐 服务 。 这 种 机 器 人 作为 人 类 的 伙伴 参与 到 人 类 社会 的 各 种 活动 中 ， 它 们 可 以 有 像 
人 一 样 的 身体 ， 可 以 提供 内 容 丰 富 的 各 种 信息 和 交互 途径 ， 使 我 们 可 以 流畅 地 与 机 器 人 进行 
各 种 形式 的 沟通 。 

情感 机 器 人 交互 平台 采用 多 智能 体 结构 ， 系 统 中 的 基本 单元 被 称 为 智能 体 (Agent) 。 它 
们 是 具有 自主 功能 的 能 独立 完成 一 定子 任务 的 功能 模块 ， 并 具有 一 个 协调 机 构 负责 组 织 协调 
各 个 智能 体 ， 使 之 总 体 行为 有 利于 预定 目标 的 实现 。 多 Agent 系统 可 以 通过 并 行 机 制 加 速 系 
统 的 运行 。 一 个 任务 可 以 分 解 为 若干 子 任务 ， 这 些 任 务 分 别 由 不 同 的 Agent 完成 。 利 用 多 
Agent 系 统 中 的 元 余 Agent 可 以 提高 系统 的 鲁 棒 性 。 多 Agent 系统 具有 可 扩充 性 ， 在 多 Agent 
系统 中 增加 一 个 Agent 要 比 增加 系统 的 功能 方便 得 多 。 多 Agent 系统 的 模块 化 程度 更 高 、 系 
统 设计 更 简单 。 

根据 情感 机 器 人 交互 应 用 特点 的 要 求 ， 即 反应 的 时 效 性 和 智能 性 。 我 们 提出 了 基于 人 工 
心理 的 情感 智能 机 器 人 控制 体系 结构 一 一 基于 人 工 心理 认 知 /行为 的 分 层 式 体系 结构 ， 如 图 
7-7 所 示 。 机 器 人 在 交互 层 通过 各 种 交互 感应 器 获取 周围 的 环境 状态 信息 ， 并 经 过 简单 反射 
决策 ， 输 出 一 种 简单 的 反射 动作 ， 然 后 再 通过 上 层 的 信息 融合 输出 符合 智能 决策 层 处 理 规 则 
的 准确 信息 ， 智 能 决策 层 根据 当前 心理 状态 ， 当 前 交互 任务 调用 规则 知识 库 来 输出 较 复 杂 的 
有 目的 的 交互 行为 ， 最 终 通 过 自身 的 行为 来 表达 对 外 部 交互 刺激 的 反应 。 

这 种 体系 结构 的 设计 与 前 面 提 到 的 儿 种 体系 结构 相 比 ， 能 够 更 加 显著 地 体现 情感 机 器 人 
的 交互 主动 性 心智 特征 以 及 情感 机 器 人 动作 交互 的 智能 性 和 时 效 性 。 

从 图 7-7 中 可 以 看 出 ， 情 感 机 器 人 的 控制 体系 结构 分 为 四 个 层次 : 信息 交互 层 、 本 能 反 
射 层 、 信 息 融 合 层 、 智 能 决策 层 ， 下 面 分 别 介绍 一 下 各 层 的 功能 和 划分 的 意义 。 
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图 7-7 基于 人 工 心理 认 知 /行为 的 体系 结构 




















言 息 交互 层 : 这 一 层 作 为 我 们 交互 逻辑 的 最 底层 ， 直 接 与 环境 、 交 互 者 和 网 络 中 的 其 他 
在 线 设备 发 生 联系 。 它 包括 机 器 人 的 各 种 硬件 传感器 、 网 络 接口 和 具有 信息 采集 及 处 理 功能 
的 软件 agent， 还 包括 机 器 人 的 信息 输出 执行 机 构 。 这 里 我 们 之 所 以 把 有 信息 处 理 功能 的 智 
能 agent 放 在 这 一 层 ， 主 要 考虑 到 ， 首 先 ， 从 人 类 自身 处 理 信息 的 流程 来 分 析 ， 我 们 会 发 现 
在 交互 层 中 用 agent 所 实现 的 功能 基本 上 是 人 类 不 需要 经 过 大 多 逻辑 思维 就 能 够 实现 的 ， 这 
些 能 力 由 于 人 类 的 频繁 使 用 已 经 接近 于 人 类 的 本 能 ， 比 如 说 我 们 在 听 一 个 人 说 话 ， 我 们 把 听 
到 的 声音 信号 转化 为 可 以 理解 的 语音 信号 的 过 程 ， 此 过 程 并 没有 运用 大 脑 的 逻辑 分 析 功 能 ， 
只 是 一 种 本 能 的 表现 。 由 于 智能 交互 机 器 人 最 重要 的 特点 是 交互 的 实时 性 ， 所 以 需要 把 信息 
处 理 的 能 力 尽 可 能 分 散 开 ， 以 减轻 智能 决策 层 处 理 信息 的 压力 ， 提 高 处 理 速度 。 

本 能 反射 层 : 这 一 层 模拟 了 人 类 的 本 能 反射 动作 和 无 意识 动作 ， 在 这 一 层 中 包含 了 我 们 
所 设计 的 一 个 简单 本 能 反射 规则 库 ， 在 这 个 库 中 包含 了 最 基本 最 简单 的 一 些 “ 感 应 一 行动 ” 
规则 ， 这 些 规 则 是 一 对 一 的 形式 ， 不 允许 有 复合 推理 形式 出 现 。 人 体 神经 系统 的 调节 方式 是 
反射 ， 人 生 下 来 就 有 的 反射 称 为 简单 反射 ， 又 称 为 非 条 件 反 射 ， 例 如 ， 缩 手 反射 、 皮 眼 反 射 
等 都 属于 简单 反射 ， 是 一 种 比较 低级 的 动作 调节 方式 ， 反 射 过 程 不 需要 经 过 大 脑 皮 层 ， 只 要 
有 兰 颈 或 脑 干 的 神经 中 概 参 与 就 可 以 完成 ， 因 此 这 种 动作 是 没有 逻辑 成 分 的 。 人 类 还 有 一 动 
作 叫 做 无 意识 动作 ， 比 如 当 一 个 人 在 无 聊 的 时 候 他 可 能 会 做 拌 脚 ， 搓 手 ， 玩 头发 等 小 动作 ， 
这 些 动 作 无 需 经 过 大 脑 的 逻辑 思维 就 可 完成 的 ， 因 此 我 们 把 机 器 人 的 无 意识 动作 也 放 到 这 一 
层 。 在 这 一 层 中 我 们 接收 到 的 是 各 种 传 感 智 能 体 经 过 初步 处 理 的 较 原 始 交互 信息 。 这 种 信息 
流 中 可 能 会 有 元 余 或 冲突 性 质 的 信息 体 存在 ， 但 是 在 简单 反射 层 中 我 们 的 主要 任务 是 反应 机 
器 人 动作 的 时 歼 性 ， 在 这 层 中 我 们 的 主要 任务 是 完成 简单 的 反射 动作 ， 在 制定 简单 反射 规则 
时 可 以 利用 简单 的 优先 级 规则 来 对 各 种 交互 信息 体 进行 简单 融合 以 决定 当前 要 执行 的 交互 
动作 。 























信息 融合 层 : 这 一 层 中 接收 本 能 反射 层 过 滤 的 交互 信息 和 环境 信息 ， 对 这 些 信息 进行 融 
合 ， 去 除 信 息 中 包含 的 噪声 信息 ， 去 除 多 信息 中 的 元 余 信 息 ， 最 后 得 到 智能 决策 层 可 以 处 理 











的 标准 信息 格式 。 

智能 决策 层 : 这 一 层 模拟 了 人 类 大 脑 中 的 逻辑 推理 和 智能 决策 过 程 。 我 们 在 做 出 一 个 决 
策 的 时 候 ， 不 但 与 得 到 的 信息 及 掌握 的 知识 有 关 ， 还 与 当时 的 心理 状态 以 及 要 达到 的 交互 任 
务 有 关 ， 因 此 ， 在 这 一 层 中 我 们 创建 了 一 个 人 工 心理 状态 模型 以 及 一 个 交互 任务 库 ， 并 把 这 
个 模型 中 的 值 和 交互 目标 作为 机 器 人 在 智能 决策 过 程 中 的 输入 变量 ， 让 机 器 人 做 出 的 决策 能 
够 反映 出 它 当 前 的 心理 状态 及 当前 的 交互 目标 。 这 一 层 中 主要 用 一 些 推理 和 智能 决策 的 算法 
把 输入 的 标准 交互 信息 转化 为 交互 输出 行为 信息 。 


7. 2 ”情感 机 器 人 软件 平台 设计 


要 想 设 计 人 情感 机 器 人 交互 平台 ， 首 先 需 要 对 软件 的 设计 流程 有 深刻 的 认识 。 如 图 7-8 所 
示 ， 在 整体 设计 流程 中 ,需求 分 析 是 第 一 步 ， 也 是 软件 能 否 达 到 预期 要 求 的 关键 环节 。 


7.2.1 结构 设计 


软件 体系 结构 描述 的 是 系统 各 部 分 软件 以 及 
它们 相互 之 间 的 关联 ， 它 既 不 是 软件 应 用 的 需 
求 ， 也 不 是 软件 系统 的 具体 实现 ， 而 是 软件 系统 
内 部 结构 配置 的 一 种 抽象 描述 ， 它 定义 了 各 部 分 
软件 系统 的 应 用 接口 规范 及 互相 操作 和 数据 通信 
的 协议 和 限制 。 总 体 上 说 ,体系 结构 = 软件 组 
件 + 连 接 接 口 ( 或 通信 协议 )。 

开放 式 软件 总 线 结构 满足 应 用 程序 的 “ 即 插 
即 用 ”服务 功能 ， 通 过 总 线 中 的 通信 模块 ， 任 何 图 7-8 软件 设计 流程 图 
应 用 程序 ， 不 论 具 有 何 种 功能 ， 只 要 遵循 该 “总 
线 ” 接 口 标准 ， 都 能 直接 集成 到 系统 环境 中 ， 与 其 他 应 用 程序 进行 各 种 类 型 的 信息 交互 ， 
实现 数据 集成 和 模块 间 的 通信 。 所 以 总 的 来 讲 ， 软 件 总 线 支 持 基于 网 络 的 任何 应 用 程序 
间 的 功能 共享 和 信息 交互 ， 交 互 的 内 容 可 以 是 用 户 定义 的 任意 类 型 的 消息 。 软 件 总 线 是 
一 种 “ 即 插 即 用 ”的 集成 框架 ， 通 过 这 种 框架 可 以 大 大 降低 应 用 程序 之 间 和 构件 之 间 的 
耦合 度 。 

开放 式 软件 总 线 结构 的 开发 包括 以 下 两 个 步 又 : 构件 的 开发 和 构件 在 软件 总 线 上 的 集 
成 。 总 线 中 的 通信 模块 只 要 遵循 总 线 的 接口 标准 ， 任 何 构件 都 能 直接 集成 到 系统 环境 中 ， 此 
结构 充分 发 挥 软 构 件 “ 即 插 即 用 ”的 特性 ， 它 与 传统 的 软件 开发 方法 流程 对 比如 图 7-9 
所 示 。 

基于 软件 总 线 结构 与 传统 结构 的 对 比 ， 其 在 模块 间 的 功能 共享 、 可 扩展 性 、 总 体 性 能 
面 都 占有 优势 ， 更 适合 于 机 器 人 软件 交互 平台 。 因 此 ， 设 计 的 软件 平台 可 以 选择 总 线 式 体 系 
结构 。 
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传统 软件 开发 方法 基于 总 线 结构 的 软件 开发 方法 
分 析 新 万 ] 构建 分 析 与 获取 





运行 构件 制作 软件 总 线 
单元 测试 应 用 软件 组 装 即 插 即 用 


综合 测试 综合 测试 


到 7-9 ”软件 总 线 结构 开发 比较 


























7.2.2 模块 设计 划分 


我 们 所 设计 的 情感 机 器 人 应 能 同人 进行 生动 顺畅 的 语言 交流 ; 能 够 识别 不 同 的 交互 对 象 
及 人 类 的 表情 ; 拥有 丰富 的 面部 表情 、 语 调和 身体 姿态 ; 能 够 自主 移动 ; 具备 简单 的 情感 和 
心理 活动 ; 能 判断 测量 周围 物体 的 距离 ; 能 够 与 数字 家 庭 网 络 中 的 其 他 设备 〈 家 用 电器 ， 
家 庭 网 关 等 ) 进行 信息 交互 与 控制 。 

根据 上 述 特点 ， 可 将 情感 机 器 人 的 具体 功能 抽象 成 相应 的 程序 和 算法 来 实现 ， 见 表 
7-1。 














表 7-1 机 器 人 功能 软件 实现 














































































































机 器 人 功能 软件 技术 实现 
视觉 人 脸 识别 
听觉 语音 识别 
触觉 红外 传 感 
语音 表达 语音 合成 
面部 表情 和 肢体 动作 行为 规则 库 、 串 口 通信 
情感 和 心理 活动 情感 建 模 、 人 工 心理 算法 
远程 信息 交互 网 络 信息 传输 、 远 程控 制 





在 软件 交互 平台 的 设计 中 采用 了 模块 化 的 设计 思想 。 根 据 表 7-1 的 抽象 关系 ， 将 每 一 个 
功能 的 程序 代码 封装 成 一 个 独立 的 模块 ， 再 将 这 些 相对 独立 的 功能 模块 集成 进 软件 平台 中 ， 
不 仅 使 程序 的 结构 清晰 、 接 口 简单 ， 还 有 利于 以 后 加 入 新 的 功能 模块 ， 从 而 提高 了 系统 的 可 
扩展 性 。 具 体 功能 模块 设计 如 图 7-10 所 示 。 
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表情 识别 


人 脸 识别 


图 7-10 软件 功能 模块 设计 图 








软件 交互 平台 集成 了 语音 识别 、 语 音 合成 、 人 脸 识别 、 表 情 识别 、 串 口 通信 、 网 络 控 
制 、 网 络 传输 、 红 外 传 感 、 数 据 库 、 行 为 库 等 功能 。 这 些 模块 的 具体 功能 介绍 如 下 : 
语音 识别 功能 模块 : 实现 中 文 语音 的 识别 ， 可 以 通过 基于 内 容 的 语音 情感 识别 来 获取 情 





语音 合成 功能 模块 : 实现 中 文 语 音 的 合成 ， 可 以 切换 男生 或 女生 发 音 ， 通 过 语音 内 容 来 
表达 机 器 人 的 情感 状态 


人 脸 识别 功能 模块: 通过 人 脸 检 测 得 到 人 脸 区 域 ， 通 过 模板 匹配 等 算法 对 此 区 域 的 图 像 
进行 特征 提取 和 识别 ， 确 定 人 脸 信息 。 

表情 识别 功能 模块 : 识别 人 脸 的 表情 ， 确 定 人 脸 的 检测 区 域 ， 对 此 区 域 运 用 光 流 法 等 算 
法 识别 表情 ， 可 作为 表情 交互 的 重要 通道 。 

串口 通信 模块 : 实现 上 下 位 机 通信 ， 向 下 位 机 发 送 控制 命令 ， 控 制 机 器 人 动作 并 获取 下 
位 机 的 传感器 反馈 信息 ， 对 机 器 人 的 动作 进行 在 线 纠 错 。 

多 传感器 融合 模块 : 本 模块 中 配置 四 种 传感器 ， 热 释 电 红外 传感器 ， 声 源 点 位 传感器 ， 
超声 波 传 感 顺 和 触摸 传感器 。 热 释 电 红外 传感器 主要 检测 是 否 有 人 到 来 ; 声 源 点 位 传感器 主 
要 用 于 检测 人 在 哪个 方位 与 机 器 人 进行 交谈 ， 以 便于 机 器 人 能 够 正面 面向 人 ; 超声 波 传 感 需 
主要 用 于 检测 人 与 机 器 人 的 距离 以 满足 机 器 人 三 原则 ; 触摸 传感器 主要 用 来 实现 机 器 人 与 人 
的 一 个 交互 手段 。 此 模块 通过 多 传感器 的 信息 采集 实现 机 器 人 对 外 部 世界 的 感知 。 

网 络 控制 及 传输 模块 : 通过 无 线 网 络 ， 机 器 人 能 够 与 数字 家 庭 中 的 其 他 在 线 设备 进行 交 
互 ; 传输 获取 其 他 设备 信息 ; 遥 操 作 其 他 网 络 设备 ; 在 网 络 环境 中 实现 自主 行为 (主动 与 
人 打招呼 ,家庭 安防 等 ) 。 

数据 库 及 行为 库 模块 : 通过 模块 中 具体 的 行为 规则 和 情感 建 模 与 数据 库 进行 参照 和 匹 
配 ， 从 而 决策 交互 机 天 人 的 行为 。 


7. 2.3 ”人 机 交互 界面 设计 


Os 所 以 机 器 人 的 用 户 界面 又 称 为 人 机 交互 界面 (Hu- 
man Computer Interface，HCI) ， 是 指 通 过 计算 机 输入 、 输 出 设备 ， 以 有 效 的 方式 实现 人 与 机 
器 人 交互 的 技术 。 它 包括 机 器 人 通过 输出 或 显示 设备 给 人 提供 灵 量 有 关 信息 及 提示 请 示 等 
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人 通过 输入 设备 给 机 器 人 输入 有 关 信 息 及 提示 请 示 ， 回 答 问 题 等 。 人 机 交互 技术 是 计算 机 用 
户 界面 设计 中 的 重要 内 容 之 一 。 它 与 认 知 学 、 人 机 工程 学 、 心 理学 等 学 科 领 域 有 密切 的 
联系 。 

人 机 交互 界面 研究 已 经 历 了 两 个 界限 分 明 的 时 代 ， 第 一 代 是 以 文本 为 基础 的 交互 ， 如 菜 
单 、 命 令 、 对 话 等 ， 难 用 且 不 灵活 。 第 二 代 则 是 直接 操作 界面 ， 它 引出 更 自然 的 视觉 通信 交 
互 。 而 下 一 代 则 是 以 多 媒体 集成 方法 为 基础 的 交互 ， 多 媒体 人 机 交互 技术 是 多 媒体 技术 和 人 
机 交互 技术 的 结合 体 。 信 息 表示 和 输入 输出 设备 的 多 样 化 是 多 媒体 人 机 交互 技术 的 重要 内 
容 。 多 媒体 人 机 交互 基于 视线 跟踪 、 语 音 识别 、 手 势 输 入 、 感 觉 反馈 等 新 的 交互 技术 。 需 要 
大 量 使 用 语言 ， 自 然 语 言 和 高 级 图 形 ， 也 可 使 用 其 他 交互 媒体 ， 如 人 的 动作 、 手 势 和 三 维 图 
像 等 。 而 人 机 交互 界面 的 研究 已 超越 心理 学 ， 并 进入 到 社会 学 的 研究 领域 ,界面 技术 、 多 媒 
体 技术 以 及 通信 技术 ， 特 别 适 于 人 工 智能 技术 。 

根据 对 智能 机 器 人 的 功能 划分 和 定位 ， 自 然 和 谐 的 智能 人 机 界面 沟通 特征 应 该 包括 : 

1) 上 自然 沟通 : 能 看 ， 能 听 ， 能 说 ， 能 触摸 ; 

2) 主动 沟通 : 有 预期 ， 会 提问 ， 并 及 时 调整 ; 

3) 有 效 沟通 : 对 情境 的 变化 敏感 ， 理 解 用 户 的 情绪 和 意图 ， 对 不 同 用 户 、 不 同 环境 、 
不 同 任务 给 予 不 同 反 馈 和 支持 。 而 这 些 特征 在 很 大 程度 上 依赖 于 心理 科学 、 认 知 科学 和 计算 
机 科学 对 人 的 智能 和 情感 研究 所 取得 的 新 进展 。 为 使 机 器 人 具备 更 智能 的 人 机 交互 能 力 ， 我 
们 需要 知道 人 是 如 何 感 知 环境 的 ， 人 会 产生 怎样 的 情感 和 意图 ， 人 如 何 做 出 恰当 的 反应 ， 从 
而 帮助 计算 机 正确 感知 环境 ， 理 解 用 户 的 情感 和 意图 ， 并 做 出 合适 的 反应 。 因 此 ， 人 机 交互 
界面 的 “智能 ”不 仅 应 具有 高 的 认 知 智力 ， 也 应 具有 高 的 情绪 智力 ， 从 而 有 效 地 解决 人 机 
交互 中 的 情境 感知 问题 、 情 感 与 意图 的 产生 与 理解 问题 ， 以 及 反应 应 对 问题 。 以 语音 接口 为 
例 ， 具 有 警示 作用 的 语调 与 语 速 ， 对 吸引 使 用 者 的 注意 力 ， 有 相当 大 的 帮助 。 而 在 轻松 的 情 
境 下 ， 感 性 缓慢 的 语调 或 动画 接口 将 有 助 于 使 用 者 进入 舒缓 的 状态 。 

由 于 人 类 从 外 部 世界 接受 信息 的 80% 以 上 来 自视 觉 通 道 ， 用 户 界面 的 可 视 化 能 更 加 直 
接地 引起 人 们 的 注意 且 更 具 趣味 性 。 根 据 界面 布局 的 科学 研究 ， 拥 挤 的 屏幕 让 人 难以 理解 ， 
因而 难以 使 用 。 屏 幕 总 体 履 盖 度 让 人 看 上 去 ， 不 能 太 拥 挤 ， 也 不 能 太 松 散 。 除 了 总 体 设 计 ， 
文字 和 控件 的 对 齐 方式 、 界 面 采 用 的 分 辩 率 等 也 是 在 设计 界面 时 需要 注意 的 内 容 。 人 机 交互 
界面 设计 的 流程 如 图 7-11 所 示 。 
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图 7-11 人 机 交互 界面 设计 流程 
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根据 人 们 习惯 的 阅读 浏览 方式 及 以 上 原则 ， 机 器 人 交互 平台 界面 设计 如 图 7-12 所 示 。 


菜单 设置 区 











对 话 提示 文本 显示 区 视频 显示 区 


情感 交互 显示 区 


网 络 交互 
信息 显示 区 


交互 平台 当前 状态 显示 区 


图 7-12 机 器 人 交互 平台 界面 设计 








交互 平台 按照 功能 划分 为 

菜单 设置 区 : 供 操作 者 对 机 器 人 交互 平台 的 具体 功能 进行 配置 及 更 改 设置 。 

对 话 提示 文本 显示 区 : 用 于 提示 使 用 者 按照 显示 的 文本 〈 机 器 人 可 以 识别 的 语音 ) 和 
机 器 人 进行 对 话 交流 网 络 中 的 在 线 设备 提供 服务 功能 。 

视频 显示 区 : 显示 机 器 人 采集 到 的 图 像 、 人 脸 识别 及 表情 识别 信息 ， 并 按 帧 显示 在 该 区 
域 。 与 使 用 者 以 最 直观 的 方式 进行 交互 。 

网 络 交互 信息 显示 区 : 显示 数字 家 庭 网 络 中 设备 的 状态 信息 及 网 络 消息 等 。 

情感 交互 显示 区 : 显示 机 器 人 判断 出 的 使 用 者 当前 情感 状态 、 机 器 人 情感 状态 信息 及 机 
如 人 相应 行为 决策 。 

交互 平台 当前 状态 显示 区 : 显示 机 器 人 当前 各 通道 信息 采集 结果 。 


7.3 各 功能 模块 的 设计 
















































































7.3.1 语音 识别 模块 设计 


语音 交互 是 自然 和 谐 人 机 交互 的 基本 组 成 单元 。 语 音 交 互 主要 包括 语音 识别 与 合成 。 语 
音 识别 功能 的 实现 就 是 使 机 器 人 能 够 完成 “ 昕 ”的 功能 ， 即 从 声音 到 文本 的 转换 (Speech 
To Text，STT) 并 通过 模式 匹配 技术 和 数据 库 技术 实现 对 语言 的 “理解 ”和 对 问题 的 “ 思 
考 " 。 语 音 合成 则 是 实现 机 器 的 自然 语言 表达 功能 ， 即 从 文本 到 声音 的 转换 。 

语音 识别 技术 以 语言 为 研究 对 象 ， 涉 及 生理 学 、 语 言 学 、 计 算 机 及 信和 号 处 理 等 多 个 领 
域 ， 是 语言 信号 处 理 的 一 个 重要 研究 方向 。 典 型 的 语音 识别 系统 如 图 7-13 所 示 。 其 中 ， 预 
处 理 包括 语音 信号 采样 ， 反 混合 带 通 滤波 去 除 个 体 发 音 差 异 和 设备 、 环 境 引 起 的 噪声 影响 
等 ， 并 涉及 语音 识别 基 元 的 选取 和 端点 监测 问题 ; 特征 提取 部 分 用 于 提取 语音 中 反映 本 质 特 
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征 的 声学 参数 ， 如 平均 能 量 、 平 均 跨 零 率 、 共 振 峰 等 ， 训 练 在 识别 前 进行 ， 通过 让 讲话 者 说 
出 一 些 句 子 ， 有 时 需 多 次 重复 某 些 语音 ， 从 原始 样本 中 去 除 元 余 信息 ,保留 关键 数据 ， 再 按 
照 一 定 规则 对 数据 加 以 聚 类 ， 形 成 语音 模式 库 ; 模式 匹配 部 分 是 整个 语音 识别 系统 的 核心 ， 
它 是 根据 一 定 的 准则 〈 如 某 种 距离 测度 ) 以 及 专家 知识 〈 如 构 词 规则 、 语 法 规则 、 语 义 规 
则 物 ， 计 算 输 入 特征 与 库存 模式 之 间 的 相似 度 〈 如 距离 匹配 、 似 然 概率 ) ， 判 断 出 输入 语音 


的 语义 信息 i 
失真 测度 














欧式 距离 
似 然 比 测 





构 词 规 则 
同音 字 判 决 
语法 语义 
背景 知识 


图 7-13 语音 识别 系统 


目前 中 文 语音 识别 的 研制 和 开发 厂商 有 Speechworks 、Nuance 、Philips 、Microsoft 、IBM、 
L&H 、Infotalk 、 中 科 模 式 识别 、 天 朗 、 得 意 音 通 、 安 可 尔 通信 、 声 硕 科技 等 。 衡 量 一 个 语音 
识别 系统 的 优 劣 的 标准 包括 : 

1) 对 说 话 者 的 依赖 程度 ， 是 否 能 识别 非特 定 人 的 说 话 。 

2) 识别 语音 的 类 型 ， 能 识别 孤立 词 的 、 断 续 的 、 还 是 连续 的 语音 。 

3) 系统 词汇 量 ， 是 小 词汇 量 、 中 词汇 量 还 是 大 词汇 量 。 

目前 识别 效果 比较 好 的 系统 是 : 中 科 模 式 识别 的 Patter ASR 和 IBM 的 Viavoice。 

Viavoice 是 IBM 开发 的 语音 识别 引擎 ， 属 于 特定 人 的 识别 。 其 最 大 的 优势 在 于 可 以 连续 
识别 语音 。 在 使 用 Viavoice 之 前 ， 必 须要 对 其 进行 特定 人 的 口音 训练 ， 使 它 熟 悉 用 户 的 说 话 
方式 ， 从 而 提高 识别 率 。IBM 的 Viavoice 软件 的 主要 功能 有 汉字 语音 输入 、 编 辑 、 打 印 等 ; 
语音 听写 功能 ; 语音 命令 功能 ; 其 内 核 的 接口 适用 于 多 种 变 成 环境 。 该 软件 针对 每 个 人 不 同 
的 噪音 和 说 话 特征 ， 提 供 口 音 适应 的 功能 。 它 可 以 支持 多 用 户 使 用 ， 只 要 每 个 用 户 都 在 自己 
的 用 户 名 下 进行 相应 的 语音 训练 就 可 以 了 。 

Pattek ASR 具有 易 用 性 强 ， 识 别 率 高 的 特点 。 用 户 无 需 进 行 训练 ， 引 警 的 设计 已 经 保证 
了 非特 定 人 这 一 重要 特点 ; API 提供 的 管理 工具 可 以 使 用 户 自 如 地 定义 自身 所 需 的 词 表 和 语 
法 ， 便 于 进行 二 次 编程 开发 。 

因为 Pattek ASR 具有 非特 定 人 这 一 重要 特点 ， 以 及 其 在 应 用 中 具有 识别 率 高 易 开 发 等 
特点 ， 所 以 在 本 系统 中 选用 该 SDK 作为 语音 识别 引擎 。 


7.3.2 语音 合成 模块 设计 


语音 合成 技术 又 称 文 语 转换 技术 ， 即 TTS 技术 ， 是 指使 用 计算 机 把 文本 信息 转换 为 相 
应 文本 发 音 的 音频 数据 ， 然 后 播放 出 来 一 一 使 机 器 人 能 够 像 人 一 样 说 话 ， 这 在 情感 机 器 人 的 
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交互 功能 中 也 是 必需 的 。 文 本 分 析 和 语音 合成 是 TTS 系统 的 两 个 基本 步 又: 前 者 从 文本 中 
提取 各 种 韵律 控制 信息 来 控制 后 者 的 合成 ,这 些 韵 律 信息 对 提高 合成 语音 的 自然 度 至 关 重 
要 ; 后 者 是 用 各 种 合成 信号 来 模拟 人 类 的 语音 。 语 音 合成 研究 的 目的 是 制造 一 种 会 说 话 的 机 
器 ， 使 其 存储 的 信息 能 转换 为 语音 ， 让 人 们 能 通过 听觉 方便 地 获得 。 现 在 语音 合成 已 经 广泛 
地 应 用 于 人 机 对 话 中 ， 它 也 是 第 五 代 智 能 计算 机 的 重要 功能 之 一 。 当 前 ， 语 音 合成 的 研究 已 
经 进入 文字 一 语音 转换 阶段 ， 其 功能 模块 可 分 为 文本 分 析 、 前 律 建 模 和 语音 合成 三 大 模块 。 
语音 合成 系统 的 流程 如 图 7-14 所 示 。 




















符号 语法 韵律 波形 Le 六 


文本 分 析 ”| | 韵律 建 模 。 ,| 语音 合成 | 


























图 7-14 语音 合成 系统 流程 图 











目前 ， 中 文 语音 合成 的 研制 和 开发 的 厂商 有 捷 通 华声 、 炎 黄 新 星 、Infotalk 、 科 大 讯 飞 、 
IBM. Microsoft 等 。 评 价 一 个 TTS 引擎 的 优 劣 ， 主 要 有 以 下 几 个 方面 : 合成 语音 的 自然 度 、 
合成 语音 的 表现 力 、 合 成 性 能 、 多 种 文 语 合成 等 。 

Interphoine 语音 合成 系统 是 科大 讯 飞 面向 中 、 高 端 应 用 的 语音 合成 系统 ， 以 先进 的 大 语 
料 语音 合成 技术 和 语音 韵律 描述 体系 为 基础 ， 提 供 面向 任意 文本 、 任 意 篇 章 的 连续 语音 合成 
功能 ， 合 成 音质 可 媲美 真人 发 音 。 目 前 ，Iterphoine 系列 产品 已 经 成 为 市 场 上 的 主流 语音 合 
成 系统 ， 在 各 个 行业 及 各 个 研究 领域 都 有 广泛 的 应 用 。 讯 飞 语 音 合成 开发 包 (iFly TTS 
SDK) 是 在 讯 飞 语音 合成 系统 基础 上 ， 为 语音 合成 开发 者 提供 的 一 个 能 够 使 用 讯 飞 语音 合成 
技术 进行 应 用 开发 的 用 户 编程 接口 ， 可 以 实现 实时 的 语音 合成 。 其 还 具有 高 质量 的 文本 语音 
转换 效果 ， 采 用 了 大 语料库 合成 技术 、 超 大 规模 的 自然 语 流 数 据 库 制 作 技术 ， 并 以 此 作为 数 
据 统计 和 机 器 学 习 的 训练 数据 ; 依据 语言 学 、 语 音 学 、 人 工 智能 知识 基础 ， 利 用 机 器 学 习 中 
的 决策 树 、 神 经 网 络 系统 分 别 建立 了 较为 完善 的 基 频 、 时 长 、 能 量 、 停 顿 模型 并 且 在 中 文 合 
成 的 自然 度 、 可 懂 度 、 音 质 等 主要 指标 上 均 名 列 前 茅 ， 是 国内 电信 级 应 用 最 多 的 一 个 TTS 
产品 。 

以 上 所 说 的 语音 合成 的 方法 都 是 以 软件 的 形式 ， 据 我 们 所 了 解 ，TTS 产品 的 硬件 形式 也 
很 多 ， 最 常见 的 就 是 科大 讯 飞 的 语音 合成 芯片 XF- S4240， 这 款 忆 片 语音 合成 功能 稳定 ， 接 
口 简单 ， 而 且 与 计算 机 相 接 方便 。 我 们 将 XF- S4240 与 软件 形式 的 开发 包 (iFly TTS SDK ) 
进行 了 下 对 比 ， 发 现 使 用 硬件 合成 时 候 语 音 识 别 的 准确 率 要 远 远 高 于 使 用 软件 包 合成 。 因 
此 ， 本 软件 平台 采用 的 是 硬件 合成 语音 方式 。 


7. 3.3 “人 脸 识别 模块 设计 


人 脸 识别 是 利用 计算 机 分 析 人 脸 图 像 ， 用 来 辨认 身份 的 一 门 技 术 ， 它 涉及 模式 识别 、 图 
像 处 理 、 计 算 机 视觉 、 生 理学 、 心 理学 及 认 知 学 等 诸多 学 科 的 知识 ， 并 与 基于 其 他 生物 特征 
的 身份 鉴别 方法 以 及 计算 机 人 机 感知 交互 领域 都 有 密切 的 联系 。 

人 脸 识别 方法 的 效果 如 何 ， 主 要 决定 于 它 在 多 大 程度 上 利用 和 保留 了 图 像 的 原始 信息 。 
我 们 在 看 一 个 人 的 时 候 ， 可 以 明显 地 观察 到 他 面部 的 各 个 器 官 和 脸庞 。 因 此 ， 我 们 可 以 利用 
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一 组 数值 特征 来 描述 各 个 器 官 包括 脸庞 ， 并 且 利用 这 种 数值 特征 数据 来 对 人 脸 进行 识别 。 但 
是 模式 识别 研究 的 经 验 表 明 ， 简 单 地 利用 一 组 数值 特征 不 能 很 好 地 解决 人 脸 的 识别 问题 。 由 
于 视觉 识别 人 脸 的 机 制 十 分 微妙 ， 人 们 对 此 的 认识 还 非常 肤浅 。 因 此 ， 人 脸 应 当 作为 一 个 整 
体 来 描述 ， 不 仅仅 包括 各 个 器 官 的 数值 特征 ， 还 应 当 包 括 各 个 器 官 的 不 同 表象 和 相互 关联 。 
对 于 已 检测 出 的 人 脸 图 像 ， 自 动 识别 系统 将 它 与 数据 库 中 的 已 知人 脸 进 行 比较 匹配 ， 得 出 识 








别 结果 。 这 部 分 工作 由 人 脸 识别 算法 来 完成 。 对 于 自动 人 脸 识别 系统 ， 








一 个 对 环境 适应 性 强 

















且 识 别 率 高 的 算法 是 整个 系统 的 关键 。 在 本 文 的 系统 中 ， 人 脸 识别 部 分 采用 了 一 种 较为 成 熟 
的 人 脸 识 别 方法 一 一 基于 隐 马 尔 可 夫 模 型 (Hidden Markov Model，HMM) 的 人 脸 识别 方法 。 


它 为 描述 不 同 表象 和 相互 关联 的 人 脸 识别 提供 了 解决 方案 。 





近 几 年 来 ， 基 于 HMM 的 人 脸 识别 已 经 取得 了 较 大 的 进展 。 它 们 所 采用 的 系统 结构 大 致 


相同 。 本 文 所 设计 的 HMM 人 脸 识别 基本 框架 如 图 7-15 所 示 。 


已 知人 脸 图 像 
特征 提取 
特征 提取 


到 7-15 HMM 人 脸 识 别 基本 框架 











待 识别 人 脸 图 像 














识别 结果 


从 上 图 可 以 看 出 ， 本 交互 平台 的 人 脸 识 别 系统 要 经 过 训练 和 识别 两 个 部 分 。 训 练 就 是 








HMM 建 模 的 过 程 ， 如 图 7-16 所 示 。 根 据 一 定 的 参数 重 估算 法 ， 不 断 
调整 模型 参数 ， 得 到 和 鲁 棒 性 较 好 的 模型 。 通 过 对 基本 模型 的 改进 和 优 
化 ， 提 高 模型 的 精确 度 ， 以 达到 较 好 的 识别 效果 。 人 脸 隐 马尔 可 夫 模 
型 的 训练 就 是 要 为 每 一 个 人 确定 一 组 经 过 优化 了 的 HMM 参数 。 每 个 
模型 可 以 用 单 幅 或 多 幅 图 像 进行 训练 。 

人 脸 图 像 采样 生成 观察 值 序列 ， 这 些 观 察 值 序列 就 用 来 训练 出 人 
脸 的 模型 。 

人 脸 训 练 的 算法 如 下 : 

1) 将 要 训练 的 人 脸 图 像 进 行 统一 分 割 ， 按 照 DCT 算法 提取 出 人 
脸 特 征 相 联系 的 观察 值 序列 0 ，1 <i<7。 

2) 建立 一 个 通用 的 HMM 模型 y= (4，B,7)， 确定 模型 的 状态 
数 ， 人 允许 的 状态 转移 和 观测 序列 向 量 的 大 小 。 

3) 迭代 计算 初始 HMM 参数 。 首 先 ， 图 像 被 统一 分 割 ， 每 部 分 对 
应 HMM 的 一 个 状态 。 然 后 ， 上 述 的 分 割 数据 被 Viterbi 分 割 代 替 。 这 
一 过 程 输出 的 是 一 个 初始 HMM 模型 ， 用 作 下 一 步 重 估 HMM 参数 的 
输入 。 

4) 使 用 Baum- Welch 方法 对 HMM 模型 参数 进行 重 估 。 隐 马尔 可 
夫 模型 的 各 个 参数 在 这 个 步骤 中 进行 重新 估计 ， 得 到 一 个 新 的 y = 
(4，B,7)。 然 后 利用 前 向 -后 向 算法 或 者 Viterbi 算法 计算 出 观察 值 
序列 0 在 这 个 模型 下 的 P(O1y) 。 为 了 估计 出 最 接近 于 观察 值 序列 0 
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图 7-16 HMM 训练 
建 模 过 程 
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的 模型 ， 设 定 门限 值 C， 当 时 |P(O1y) -P(01y')1<C 时 (此 时 P (收敛 )， 即 得 到 训练 出 
的 隐 马 尔 可 夫 模 型 ， 否 则 令 y =y'， 重 复 此 步 台 ， 直 至 P (收敛 )， 得 到 最 接近 于 观察 值 序 
列 的 隐 马 尔 可 夫 。 根 据 训练 图 像 的 观察 向 量 ，HMM 参数 将 会 被 调整 到 一 个 局 部 极 大 值 。 这 
个 过 程 的 输出 即 为 数据 库 中 人 脸 图 像 最 终 的 HMM 模型 。 

在 训练 好 若干 人 脸 的 隐 马 尔 可 夫 模 型 (HMM) ， 即 建 好 人 脸 数 据 库 后 ， 才 能 进行 人 脸 的 
识别 。 识 别 就 是 根据 已 经 建立 好 的 人 脸 HMM 模型 库 ， 使 用 某 种 搜索 算法 搜索 最 佳 匹 配 的 
过 程 。 

识别 的 过 程 如 下 : 

1) 首先 要 对 识别 的 人 脸 图 像 进 行 采样 ， 形 成 观察 向 量 序列 。 

2) 然后 计算 此 人 脸 的 观察 向 量 序列 与 人 脸 数 据 库 中 各 人 脸 的 隐 马 尔 可 夫 模 型 的 最 大 似 
然 概率 P(O ”|y, ) 。 最 大 似 然 概率 P(O ”|y, ) 的 计算 可 以 通过 前 向 -后 向 算法 或 者 Viterbi 
算法 得 出 。 

3) 最 大 似 然 概率 反映 了 待 识 人 脸 观 察 向 量 序列 与 数据 库 中 的 人 脸 隐 马尔 可 夫 模 型 的 相 
似 程 度 。 计 算出 每 一 个 训练 模型 产生 该 序列 的 最 大 似 然 概率 ， 最 大 值 的 模型 即 为 待 识别 人 脸 
所 属 的 类 ， 可 以 用 公式 表达 为 

P(O™® |y,) =max,P(O™ |y,) (751) 

如 果 第 m 个 模型 y。 产生 序列 0 的 最 大 似 然 概 率 值 取 最 大 值 ， 则 将 图 像 归 入 第 m 

类 。 人 脸 识 别 的 流程 图 如 图 7-17 所 示 。 


一 于 | 
计算 似 然 概率 





















































人 脸 图 像 


特征 提取 


识别 结果 
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图 7-17 人 脸 识 别 流程 医 

















根据 隐 马 尔 可 夫人 脸 识 别 算法 的 特点 和 步 又 ， 机 器 人 交互 平台 选择 以 OpenCV 库 为 基础 
进行 开发 。 

根据 算法 ， 同 时 利用 OpenCV 所 提供 的 功能 函数 ， 将 人 脸 识别 模块 的 功能 实现 ， 并 封装 
在 DLL 库 中 ， 这 样 此 功能 模块 不 仅 能 实现 平台 的 通用 性 ， 而 且 便于 进行 集成 。 
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7.3.4 动作 行为 模块 设计 





对 于 情感 机 器 人 的 研制 与 开发 ， 我 们 不 仅 要 求 其 能 够 模拟 人 的 视觉 、 听 觉 、 语 言 表 达 等 
能 力 ， 还 要 求 其 在 外 表 上 也 能 够 拟人 化 ， 同 时 能 够 模仿 人 类 的 面部 表情 和 肢体 动作 ， 即 情感 
机 器 人 应 具备 类 似 人 类 的 动作 行为 模式 。 设 计 智 能 情感 机 器 人 行为 的 基础 在 于 其 能 够 模仿 人 
类 的 外 形 ， 本 章 所 开发 的 交互 平台 是 由 北京 科技 大 学 王 志 良 教授 带领 的 机 器 人 研究 实验 室 自 
主 制作 的 仿 人 机 器 人 。 根 据 各 情感 机 器 人 具体 功能 和 目的 的 不 同 ， 实 验 室 所 研发 制作 的 情感 
机 器 人 的 外 形 如 图 7-18 所 示 。 


= 








图 7-18 实验 室 自 主 研发 制作 的 智能 机 器 人 外 形 


身体 语言 ， 是 指 经 由 身体 的 各 种 动作 ， 代 替 语 言 以 达到 表情 达意 的 沟通 目的 。 身 体 语言 
包括 身体 与 四 肢 所 表达 的 手势 、 姿 势 和 面部 表情 。 
身体 语言 比 语言 本 身 更 容易 暴露 出 真实 的 自己 。 
心理 学 家 认为 : 情感 表达 =7% 语言 +38% 声音 + 
55% 身体 语言 。 可 见 人 的 身体 语言 在 人 与 人 的 交流 
中 发 挥 着 重要 作用 。 oa 

为 实现 复杂 的 动作 行为 模式 ， 更 加 细腻 的 表 。 基 贡 负 3 
达 情 感 ， 将 情感 机 器 人 硬件 结构 分 为 脸 部 、 颈 部 、 
肢体 和 底盘 四 个 行为 模块 ， 分 别 使 用 四 个 处 理 器 
独立 控制 。 这 样 可 以 方便 地 完成 动作 组 合 和 动作 
序列 的 模块 化 。 动 作 组 合 在 上 位 机 上 完成 。 行 为 
模式 设计 平台 是 由 北京 科技 大 学 王 志 良 教授 带领 
的 机 器 人 研究 实验 室 自 主 研发 制作 的 机 器 人 硬件 
结构 。 

机 器 人 上 身 肢体 结构 如 图 7-19 所 示 。 

机 器 人 脸 部 及 头 部 结构 如 图 7-20 所 示 。 











图 7-19 机 器 人 上 身 肢 体 结构 
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图 7-20 脸 部 及 头 部 结构 
a) 头 部 结构 b) 眼 部 结构 


可 交互 的 情感 机 器 人 将 不 同 硬件 模块 的 独立 动作 集成 为 一 套 完整 的 行为 来 模仿 人 类 。 
将 情感 机 器 人 的 动作 行为 按照 四 个 行为 模块 进行 分 类 ， 见 表 7-2。 
表 7-2 情感 机 器 人 动作 行为 模块 划分 
























































动作 行为 脸 部 动作 头 部 动作 肢体 动作 底盘 动作 
招手 0 0 1 0 
鼓掌 0 0 1 0 
屋 手 0 0 1 0 
晃动 拳头 0 0 1 0 
摆手 0 0 1 0 
扬 眉 1 0 0 0 
皱眉 1 0 0 0 
褒 腿 1 0 0 0 
米 眼 1 0 0 0 
微笑 1 0 0 0 
张嘴 1 0 0 0 
报 嘴 1 0 0 0 
拔 嘴 1 0 0 0 
仰 头 0 1 0 0 
低头 0 1 0 0 
摇头 0 1 0 0 
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( 续 ) 

动作 行为 脸 部 动作 头 部 动作 肢体 动作 底盘 动作 
点 头 0 1 0 0 
前 进 0 0 0 1 
后 退 0 0 0 1 
左 转 0 0 0 1 
右 转 0 0 0 1 














上 表 是 四 个 行为 模块 的 划分 ， 以 及 行为 动作 对 应 的 情感 机 器 人 舵 机 运行 情况 ,1 代表 
是 , 0 代表 否 。 
为 使 情感 机 器 人 具有 更 自然 的 行为 动作 ， 对 不 同 模块 以 及 不 同 部 位 的 动作 进行 分 析 ， 四 
个 行为 模块 中 相应 的 功能 器 官 设计 应 具备 的 自由 度数 量 见 表 7-3。 
表 7-3 情感 机 器 人 行为 模块 自由 度 设计 



















































































行为 模块 功能 器 官 自由 度数 量 
眼睛 6 
脸 部 眉毛 2 
足 3 
颈 部 颈 2 
肢体 J 2 
上 身躯 干 3 
底盘 移动 轮 盘 2 


机 器 人 整体 架构 采用 上 下 位 机 的 分 布 式 结构 。 上 位 机 为 艇 人 式 PE，PC 包含 各 通用 接 
口 ， 操 作 系统 选用 Windows XP。 软 件 平台 、 数 据 库 ， 知 识 库 及 各 硬件 输入 输出 设备 的 驱动 
都 安装 于 该 操作 系统 中 。 下 位 机 由 单片机 控制 位 于 各 器 官 模块 的 舵 机 来 实现 机 器 人 的 行为 
动作 。 

EF 下 位 机 (上 位 机 中 的 PC 与 下 位 机 中 的 单片机 ) 通过 无 线 发 射 盒 进行 通信 。 此 系统 的 
无 线 模块 采用 了 市 场 上 的 ASK 无 线 数 传 模块 。 这 种 模块 全 部 采用 SMT 贴 片 组 装 ， 体 积 小 ， 
可 靠 性 高 ， 可 以 长 时 间 连 续 发 送 和 接收 。 而 且 它 的 频率 源 采用 高 稳定 度 唱 体 振荡 加 PLL 电 
路 构成 ,频率 稳定 度 高 ， 抗 干扰 能 力 强 。 男 外 ， 数 据 信 号 可 以 透明 传输 。 将 其 安装 于 舰 入 式 
PC 上 ， 选 用 串口 连接 无 线 发 射 盒 。 

经 过 近 几 年 的 使 用 和 发 展 ， 在 RS232 标准 的 基础 上 不 断 进行 改进 ， 使 得 PC 串 行 通信 接 
口 标准 日 益 多 样 化 。RS232C 标准 公布 于 1969 年 ， 是 由 美国 EIA (电子 工业 联合 会 ) 与 
BELL 等 公司 联合 开发 的 通信 协议 。RS232C 标准 (协议) 的 全 称 是 EIA- RS-232C 标准 ， 其 
中 EIA (Electronic Industry Association ) 代表 美国 电子 工业 协会 ，RS (Recommended stand- 
ard) 代表 推荐 标准 ，232 是 标识 号 ，C 代表 RS232 的 最 新 一 次 修改 〈1969 ) 。 整 个 通信 系统 
的 结构 设计 为 主 从 式 串 行 总 线形 。RS232C 标准 最 初 是 为 远程 通信 连接 数据 终端 设备 (Data 
Terminal Equipment ，DTE ) 与 数据 通信 设备 (Data Communication Equipment，DCE ) 而 制定 
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的 ， 因 而， 它 的 电 平 与 TIL 电 平 之 间 需 要 转换 。 通 信 结 构 如 图 7-21 所 示 。 


舵 机 控制 
上 位 机 RS232 接口 下 位 机 
一 一 ~| 直流 电机 控制 
PC 单片机 


一 一 一 | 传感器 检测 


图 7-21 上 下 位 机 通信 结构 图 























在 标准 串口 通信 方面 ，VC + + 提供 了 具有 强大 功能 的 串口 编程 控件 MSComm。MSComm 
控件 可 设置 串 行 通信 的 数据 发 送 和 接收 ,对 串口 状态 及 串口 通信 的 信息 格式 和 协议 进行 设 
置 。 在 PC 和 单片机 的 通信 中 ， 确 定 一 个 明确 而 合理 的 通信 协议 是 关键 。 现 今 流行 的 通信 协 









































议 应 该 对 数据 格式 、 通 信 方 式 、 传 送 速度 、 传 送 步 又 、 检 纠 错 方式 以 及 控制 字符 定义 等 问题 
做 出 统一 规定 。 

情感 机 器 人 下 位 机 的 四 个 行为 模块 分 别 对 应 于 四 个 独立 的 单片机 ， 为 了 区 别 不 同 的 单 片 
机 ， 必 须 为 每 个 分 机 分 配 一 个 唯一 的 地 址 ， 此 地 址 唯一 区 别 各 单片机 。 并 且 规 定 一 特殊 符号 
标志 为 广播 方式 。 数 据 格 式 采 用 数据 包 的 形式 ， 一 次 传输 一 组 数据 。 数 据 包 格 式 设计 如 下 
所 示 : 

















7.3.5 网 络 功能 模块 设计 


情感 机 器 人 的 智能 性 是 离 不 开 网 络 的 ， 我 们 在 追求 人 机 和 谐 交 互 的 同时 ， 更 希望 情 
感 机 器 人 能 够 智能 地 为 人 类 及 其 家 庭 服务 。 目 前 我 们 所 研究 的 情感 机 器 人 主要 服务 于 
家 庭 ， 因 此 情感 机 器 人 的 网 络 功 能 主要 基于 IGRS 协议 来 实现 。 下 面 简单 介绍 一 下 IGRS 
协议 。 

闪 联 (Intelligent Grouping Resource Sharing，IGRS) 是 一 种 技术 体系 标准 ， 人 致力 于 打破 
“信息 孤岛 "， 解 决 各 种 信息 终端 设备 的 互联 和 互通、 资源 共享 和 协同 工作 的 问题 。 

闪 联 是 多 个 信息 终端 依据 一 定 的 标准 在 有 限 范 围 内 动态 组 网 ， 以 实现 智能 互联 、 资 源 共 
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享 和 协同 服务 的 应 用 模式 技术 理论 为 基础 。 通 过 调用 闪 联 基础 应 用 、 闪 联 智能 应 用 框架 、 内 





联 基础 协议 所 提供 的 接口 来 实现 更 为 复 杀 、 功 能 更 强 的 应 用 。 

协同 服务 是 指 在 智能 互联 、 资 源 共 享 的 基础 上 ， 在 一 定 范围 内 通过 应 用 和 资源 的 优化 组 
合 ， 相 互 协 作 ， 充 分 发 挥 并 释放 网 络 的 能 量 ， 从 而 在 个 人 人、 企业、 社会 三 个 层面 产生 新 的 应 
用 形式 ， 并 更 好 地 服务 于 个 人 、 企 业 和 社会 。 协 同 服务 是 关联 应 用 的 目的 ， 是 智能 互联 、 资 
源 共 享 的 落脚 点 。 

为 了 在 软件 平台 上 实现 该 协议 ， 我 们 将 该 协议 封装 在 DLL 库 中 ， 向 外 部 提供 API 接口 
供 IGRS 协议 栈 的 应 用 开发 者 调用 。 
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7.4 软件 平台 的 实现 


7.4.1 总 体 架构 与 模块 化 编程 


1. 软件 平台 总 线 式 架构 

软件 总 线 技术 是 一 种 新 的 信息 集成 化 技术 。 软 件 总 线 起 到 类 似 于 计算 机 系统 硬件 总 线 的 
作用 ， 只 要 将 应 用 模块 按 总 线 规范 做 成 软 插件 ， 通 过 规范 的 接口 函数 插入 总 线 即 可 实现 集成 
运行 。 

根据 软件 平台 的 总 体 需 求 分析 和 模块 划分 ， 情 感 机 器 人 的 各 部 件 运行 关联 由 信息 来 建 
立 ， 而 不 是 通过 功能 来 建立 ， 因 此 应 用 软件 总 线 技术 进行 具体 的 编程 ， 系 统 功 能 可 以 保持 彼 
此 相对 的 独立 性 。 情 感 机 器 人 交互 软件 平台 总 线 式 编程 结构 如 图 7-22 所 示 。 
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触觉 感受 线程 行为 规则 线程 
网 络 响应 线程 网 络 控制 线程 
串口 接收 线程 串口 发 送 线程 





到 7-22 ”情感 机 器 人 交互 软件 平台 总 线 式 编程 结构 











软件 平台 监控 总 线程 是 整个 系统 的 核心 ， 它 就 像 一 部 自动 程控 交换 机 ， 系 统 的 各 个 功能 
就 像 一 部 部 程控 电话 机 ， 而 集成 于 平台 的 各 具体 功能 模块 则 用 来 建立 各 功能 与 系统 、 功 能 与 
功能 之 间 的 信息 关联 。 

使 用 这 种 技术 编程 的 优势 在 于 系统 的 存在 不 依赖 于 任何 功能 组 件 ， 所 有 功能 组 件 也 不 依 
赖 于 其 他 功能 的 存在 ， 只 是 通过 通用 接口 与 总 线程 形成 关联 ， 最 大 程度 上 实现 了 各 功能 模块 
之 间 的 独立 。 软 件 平台 提供 这 样 的 通用 接口 ， 它 集成 了 与 各 个 主流 数据 库 的 接口 ， 以 及 各 功 
能 模块 ， 回 调 函 数 ， 网 络 服务 的 接口 。 不 同 的 组 件 实现 不 同 的 功能 ， 其 功能 实现 只 依赖 于 数 
据 ， 而 不 依赖 于 其 他 功能 ， 组 件 可 以 单独 开发 然后 嵌入 软件 集成 平台 。 

2. 软件 平台 模块 化 编程 实现 

伴随 计算 机 技术 和 机 器 人 技术 的 飞速 发 展 ， 越 来 越 多 的 软件 技术 和 硬件 交互 设备 应 用 于 
机 器 人 交互 平台 中 ， 交 互 效果 更 好 的 模块 替代 老 的 功能 模块 的 现象 也 层出不穷 ， 这 就 要 求 软 
件 交 互 平 台 有 方便 的 可 扩展 性 和 可 替换 性 。 因 此 软件 平台 模块 化 编程 的 重要 性 也 与 日 俱 增 。 
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情感 机 器 人 交互 平台 集成 了 多 种 功能 ， 并 且 随 着 传感器 、 网 络 技术 的 发 展 以 及 人 们 对 于 
智能 机 器 人 要 求 的 提高 ， 情 感 机 器 人 平台 
会 集成 越 来 越 多 的 功能 。 为 了 便于 在 平台 
中 集成 新 的 功能 并 替换 旧 的 功能 ， 我 们 在 
设计 软件 平台 的 时 候 ， 按 照 功能 把 平台 进 
行 模块 化 划分 ， 各 个 功能 模块 分 别 设计 出 
与 平台 间 的 消息 交互 接口 ， 主 控制 平台 人 负 
责 监视 各 个 模块 的 消息 交互 接口 是 否 有 交 
互信 息 提 交 。 如 图 7-23 所 示 。 

当 软 件 平台 需要 加 入 新 功能 时 ， 我 们 
只 需 把 新 的 功能 处 理 程序 做 成 动态 链接 库 ， 按 照 规定 留 出 该 动态 库 与 主 控制 平台 的 消息 交互 
接口 ,平台 只 需 在 处 理 规则 库 中 加 入 对 该 功能 模块 交互 消息 的 处 理 规则 ， 和 替换 老 的 模块 时 操 
作 与 此 相似 。 因 此 只 需 修 改 少 量 的 平台 代码 ， 即 可 在 平台 中 加 入 新 的 功能 。 大 大 提高 了 程序 
的 扩展 性 和 替换 性 。 

平台 集成 的 各 个 功能 模块 (Module Name) 与 平台 主线 程 进行 交互 的 接口 采用 规范 化 的 
设计 ， 不 同 的 模块 具体 的 接口 会 有 所 不 同 ， 但 主要 的 交互 功能 都 可 以 用 下 面 这 四 个 接口 来 
完成 : 

初始 化 该 模块 ， 包 括 申请 内 存 ， 调 用 系统 资源 ， 初 始 化 设备 等 。 

对 该 模块 进行 逆 初 始 化 操作 ， 包 括 释放 内 存 ， 释 放 系统 资源 ， 关 闭 设 备 等 操作 。 

功能 模块 通过 接口 从 平台 中 获得 所 要 的 数据 信息 ,不 同 的 模块 所 获得 的 信息 会 有 所 
不 同 。 

接口 为 模块 向 平台 传送 数据 ， 一 般 为 交互 信息 数据 。 

3. 人 机 交互 界面 的 实现 

图 7-24 所 示 为 北京 科技 大 学 设计 的 软件 集成 平台 界面 ， 主 要 包括 登录 选项 ， 串 口 设 置 ， 
语音 设置 ， 图 像 设置 ， 动 作 表演 ， 注 册 人 脸 ， 退 出 等 菜单 。 其 中 登录 选项 主要 是 确定 用 户 是 
否 为 管理 员 身 份 ; 串口 设置 主要 是 用 来 设置 串口 的 I 有 D 号 ， 波 特 率 ， 停 止 位 以 及 奇偶 校 验 位 ; 
语音 设置 主要 是 用 来 设置 语音 声音 信息 的 大 小 ; 动作 表演 主要 用 于 情感 机 器 人 动作 表演 的 调 
试 使 用 ; 注册 人 脸 主 要 实现 将 用 户 的 人 脸 信息 写 和 数据库， 以 保证 能 够 识别 用 户 ; 退出 主要 
是 用 于 用 户 退 出 系统 ， 以 上 是 对 交互 界面 主要 功能 的 介绍 。 


7.4.2 各 个 功能 模块 的 具体 实现 


1. 语音 识别 模块 实现 

情感 机 器 人 语音 识别 模块 选择 Pattek ASR SDK 在 Visual C ++ 6.0 环境 下 进行 开发 。 
Pattek ASR SDK 提供 动态 链接 库 以 及 C ++ 头 文件 : ASRAPI. h: 头 文件 ， 提 供 所 有 函数 原 
型 以 及 参数 定义 等 ; asrapi. jb: 静态 链接 库 ; asrapi. dl: 动态 链接 库 。 语 音 识 别 流程 如 
图 7-25 所 示 。 

2. 语音 合成 模块 实现 

经 过 对 多 家 语音 合成 开发 包 以 及 硬件 合成 芯片 进行 对 比 ， 发 现 采 用 硬件 合成 芯片 语音 识 
别 模块 运行 比较 稳定 ， 且 识别 效率 比较 高 。 最 后 对 多 家 硬件 合成 芯片 进行 对 比 ， 认 为 科大 讯 


外 围 交 互 接口 










模块 与 平台 接口 


主 控 平台 








图 7-23 软件 交互 平台 模块 化 结构 
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飞 的 XF 一 S4240 与 电脑 连接 和 通信 实现 起 来 比较 简单 方便 ， 因 此 选用 该 芯片 作为 本 平台 的 
语音 合成 模块 。 


端点 检测 


开始 识别 





























图 7-24 人 机 交互 界面 实现 图 7-25 语音 识别 流程 区 

















XF- S4240 中 文 语音 合成 模块 ， 是 安徽 中 科大 讯 飞信 息 科 技 有 限 公 司 (科大 讯 飞 ) 推出 
的 基于 科大 讯 飞 在 能 入 式 中 文 语音 合成 领域 的 最 新 研究 成 果 一 一 IterSound4. 0 中 文 语音 合成 
系统 ， 而 设计 的 一 款 中 文 语音 合成 模块 。 该 模块 可 以 通过 异步 串口 (UART) 、SPI 接口 及 
EC 总 线 三 种 方式 接收 待 合成 的 文本 ， 直 接合 成 为 语音 输出 ; 主要 面向 中 高 端 应 用 ， 为 其 提 
供 一 套 完 整 的 语音 解决 方案 。 
该 模块 可 合成 任意 的 中 文 文本 ,支持 英文 字母 的 合成 ,支持 CB2312 、CBK 、BIG5 、 
UNICODE 四 种 内 码 格 式 的 文本 ; 具有 智能 的 文本 分 析 处 理 算法 ， 可 正确 识别 和 处 理 数值 、 
号 码 、 时 间 日 期 及 一 些 常 用 的 度量 符号 ， 具 备 多 音字 处 理 和 中 文 姓氏 处 理 能 

计算 机 和 芯片 的 通信 方式 采用 的 串口 通信 ， 其 连接 电路 如 图 7-26 所 示 。 

3. 语音 交互 模块 实现 

仅 有 语音 识别 和 语音 合成 模块 并 不 能 实现 真正 的 语音 交互 功能 。 交 互 的 关键 在 于 如 何 将 
识别 和 合成 模块 进行 衔接 ， 使 其 能 够 平滑 地 进行 交互 。 而 本 软件 平台 使 用 的 交互 模块 很 好 地 
实现 了 这 方面 的 功能 。 语 音 交 互 流程 如 图 7-27 所 示 。 

语音 交互 模块 介 于 语音 识别 、 语 音 合成 模块 和 知识 数据 库 之 间 。 对 语音 识别 结果 进行 关 
键 词 模糊 查询 再 将 结果 转换 为 知识 库 匹 配 的 格式 。 再 通过 交互 模块 的 查询 函数 对 数据 库 进 行 
查找 和 调用 ， 最 终 将 结果 发 送 给 语音 合成 模块 进行 音频 输出 。 
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图 7-27 语音 交互 流程 医 














我 们 通过 Windows 的 消息 机 制 来 触发 事件 。 机 器 人 情感 交互 的 流程 如 图 7-28 所 示 。 


ON_MESSAGE(UM_VOIC INFO,VoiRecolf) VoiRecolf 


0 
退 
回 





查询 



















ON _ MESSAGE(UM_SENS _INFO,SenRecolf) 
ON MESSAGE(UM_PIC INFO,PicRecolf) 








4. 动作 行为 模块 实现 

机 器 人 交互 软件 平台 通过 PC 的 RS232 串口 与 下 位 机 中 的 单片机 实现 通信 。 本 软件 平台 
通过 VC ++ 的 Mscomm 控件 编程 来 实现 上 位 机 PC 同时 向 四 个 硬件 设备 发 送 数据 ， 硬 件 设备 
均 接 收 数据 到 缓冲 区 ， 根 据 ID 号 匹配 情况 来 决定 这 帧 数据 的 取舍 。 下 位 机 通过 单片机 串口 
编程 实现 向 上 位 机 反馈 信息 和 发 送 传感器 信息 。 上 位 机 通过 串口 向 下 位 机 发 送 控制 指令 的 流 
程 如 图 7-29 所 示 。 在 通信 过 程 中 采用 事件 驱动 方式 来 处 理 通信 ， 用 OnComm 事件 捕获 并 处 
理 通 信 事 件 ， 还 可 以 检查 和 处 理 通信 和 错误， 具有 程序 响应 及 时 ， 可 靠 性 高 的 特点 ， 适 合用 于 
机 器 人 控 甫 
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5. 人 脸 识 别 模块 实现 

(1) 算法 实现 

本 交互 平台 采用 Windows 的 VFW 库 以 及 OpenCV 作 
为 开发 工具 ， 对 于 摄像 头 采集 的 彩色 图 像 ， 包 含 复杂 的 
背景 ,利用 VFW 库 将 人 脸 检 测 出 来 ， 对 检测 出 的 结果 利 
用 OpenCV 进行 二 次 处 理 ， 创 新 性 的 运用 隐 马 尔 可 夫 算 法 


















/> 三 X30 时 非 
实现 最 终 的 人 脸 识 别 。 全 
我 们 采用 YCu Cr 颜色 模型 。 对 输入 彩色 图 像 进行 颜色 | 片 


空间 转换 ， 将 其 从 相关 性 较 高 的 RGB 空间 转换 到 颜色 分 量 | 也 


互 不 相关 的 YYCb/Cr 颜色 空间 。 转 换 公式 如 式 (7-2) 


所 示 。 
了 0.2989 0.5866 0.1145 TR 
加 0. 5000 -0.4184 -an |e (7-2) 
C, -0.1688 -0.3312 0.5000 JLB 

为 检测 场景 中 的 人 脸 区 域 ， 建立 一 个 有 效 的 肤色 模 
型 是 非常 重要 的 。 统 计 方 法 是 一 种 常用 的 工具 。 在 此 ， 
用 一 个 随机 变量 表示 像素 值 的 变化 。 该 随机 变量 的 概率 。 图 7-29 串口 发 送 指令 流程 图 
密度 函数 具有 特定 的 统计 分 布 形式 ， 其 参数 通过 训练 数据 
来 估计 。 为 了 得 到 这 个 统计 分 布 。 我 们 在 30s 内 取 1000 帧 图 像 对 人 脸面 部 肤色 的 某 一 像素 值 
进行 观察 。 从 实验 中 ,我 们 发 现 ， 人 的 肤色 在 色 度 空间 分 布 符合 二 维 高 斯 分 布 W (ww，6) ， 其 
中 均值 n=Elx) ,X=(C,，C,) 7; 假设 C,、C, 颜色 分 量 相互 统计 独立 。 则 协 方差 6 = 
El (xzx -) (x -A) |。 根 据 肤色 在 色 度 空间 的 高 斯 分 布 ， 对 于 图 像 上 任意 一 点 从 RGB 颜色 
空间 变换 到 YCbCr 颜色 空间 ， 从 而 得 到 该 点 属于 肤色 区 域 的 概率 如 式 (7-3) 所 示 : 

P(C,,C,) =exp[ -~ (x-u)'6 (x-u)/21/| (227) 161®) (7-3) 

在 实验 中 ， 属 于 肤色 的 C,、C 颜色 分 量 的 均值 取 : j= (117.4361，156. 5599 ) ， 协 方 

差 6 如 式 (7-4) 所 示 : 





接受 数据 
至 缓存 区 



































160. 1301 12.1430 
~\ 12.1430 299.4574 

通过 肤色 模型 将 一 副 彩色 图 像 转变 为 灰 度 图 像 ， 灰 度 值 对 应 于 该 点 属于 皮肤 区 域 的 程 
度 。 然 后 我 们 采用 动态 平均 阔 值 法 对 图 像 进 行 二 值 化 处 理 ， 结 合 水 平 灰 度 投影 和 垂直 灰 度 投 
影 ， 找 到 人 脸 区 域 的 上 下 边界 ， 对 人 脸 进行 标记 。 

将 人 脸 检 测 标记 出 的 人 脸 区 域 进行 二 次 处 理 ， 调 用 OpenCV 算法 进行 人 脸 识 别 ， 开 发 包 
组 件 包 括 头 文件 : cv.R，highgui. h，ImageProcess. h，export h 动态 引入 时 刻 库 和 运行 时 刻 库 
FaceSys. lib ，ImageProcess. lib ， 开 发 中 需要 动态 库 cv099. dl ，FaceSys. dll ，highgui099. dll 的 
文 持 。 

为 了 使 程序 更 加 模块 化 ， 我 们 将 以 上 所 说 的 算法 整体 都 封装 在 DLL 库 ， 这 样 可 以 使 开 
发 者 使 用 起 来 更 加 方便 ， 尤 其 是 进行 二 次 开发 时 。 我 们 向 外 部 提供 的 三 个 文件 : 头 文件 
(FaceID. h) ，FaceID. lib 文件 ， 动 态 库 文件 (FaceID. dl) 。 

(2) 程序 实现 


(7-4) 
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1) 图 像 采 集 实现 : 基于 算法 的 要 求 ， 我 们 所 采集 的 人 脸 图 像 必须 是 bmp 图 片 ， 无 论 是 


这 一 点 


注册 还 是 识别 。 


我 们 在 程序 主要 通过 微软 的 vfw 来 实现 。 


2) 人 脸 注册 与 识别 的 实现 : 根据 动态 库 提供 的 接口 ， 我 们 分 析出 注册 和 识别 的 流程 


图 ， 如 图 7-30 所 示 。 


_InitFaceID 


获取 人 脸 图 像 


检测 、 定 位 、 登 录 


保存 人 脸 特 征 模板 











_InitFaceID 





_LoadPopulation 








捕捉 图 像 、 检 测 、 定 位 、 
特征 提取 、 认 证 或 识别 






























_FreeFaceID 


D) 











7-30 ”人 脸 注 册 和 识别 流程 





a) 人 脸 注 册 流 程 图 b) 人 脸 识 别 流程 图 


人 脸 注 册 界 面 如 图 7-31 所 示 。 











我 雍 啤 你 胆 层 三 
乱 胡 万 角力 铬 人 
RAN 
HDL 
以 让 和夫 友 
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师 卡 初 巡 化 成 功 ? 


人 脸 注 册 界 面 
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图 7-31 主要 是 演示 人 脸 注 册 的 过 程 ， 我 们 在 注册 的 时 候 ， 会 向 数据 库 中 写 人 用 户 的 人 
脸 姓 名 ， 动 作 号 以 及 对 应 的 语音 信息 ， 这 样 做 的 目的 是 使 系统 可 以 实现 根据 不 同 的 人 ,调整 
回话 内 容 和 表演 动作 。 在 注册 对 话 框 上 有 两 个 主要 的 按钮 ,代表 两 种 不 同 的 注册 方式 : 一 个 
是 视频 采集 ， 另 一 个 是 照片 注册 。 视 频 采 集 的 注册 方式 是 采用 摄像 头 采集 的 bmp 照片 来 完 
成 人 脸 信息 的 写 入 以及 注册 ; 而 照片 注册 是 通过 加 载 现 有 的 pmp 文件 来 实现 人 脸 信 息 写 人 
以 及 人 脸 的 注册 。 

人 脸 识 别 结果 界面 如 图 7-32 所 示 。 
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从 会 武汉 ff 入 


我 胡 站 所 4 证 守 于 
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图 7-32 人 脸 识别 结 





当 用 户 向 情感 机 器 人 说 : 认识 我 吗 ， 机 器 人 就 会 让 你 
看 看 他 的 眼睛 ， 然 后 就 合成 我 们 注册 时 候 写 和 人 的 语音 信 
息 ， 并 在 姓名 所 对 应 的 编辑 框 中 写 和 信人 脸 的 姓名 。 

6. 网 络 功能 模块 实现 


(1) 协议 的 实现 新 开 线 程 运行 协议 栈 (RunStack) 
根据 闪 联 的 标准 以 及 提供 的 文档 ， 我 们 将 该 协议 封装 


在 库 中 ， 只 向 外 部 提供 接口 ， 在 此 平台 上 ， 主 要 利用 动态 [一 一 
(2) 集成 IGRS 功能 流程 〈 见 图 7-33 ) 

















(3) 代码 实现 设置 回调 函数 实现 设备 注册 ， 服 务 注 
主要 包括 : 初始 化 协议 栈 、 定 义 和 设 置 回调 函数 册 和 订阅 ， 服 务 调用 
(全 局 困 数 ) 和 服务 调用 函数 。 
a 设置 回调 函数 实现 拆除 会 话 ， 并 向 控 
7.4.3 故障 检测 制 中 心 返回 结果 








软件 平台 集成 了 很 多 功能 模块 ， 每 个 功能 模块 之 间 又 。 图 7-33 集成 ICRS 功能 流程 图 
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直接 或 者 间接 的 进行 信息 交互 ， 如 果 平 台 上 的 某 个 功能 出 了 问题 会 直接 影响 到 其 他 功能 模块 
的 运行 以 及 整个 软件 系统 总 体 的 性 能 。 

为 了 减少 检测 错误 的 时 间 我 们 需要 在 软件 平台 的 设计 中 加 入 模块 检 错 功能 ， 这 样 对 每 个 
模块 的 运行 状态 进行 测试 就 能 很 快 地 确定 故障 出 在 哪里 ， 减 少 平台 故障 检测 的 时 间 。 

模块 化 的 故障 检测 方法 如 下 : 首先 断 开 其 他 模块 与 平台 的 链接 ， 只 测试 一 个 模块 的 功 
能 ， 如 果 有 其 他 模块 与 待 测试 模块 的 交互 ， 则 模拟 交互 数据 进行 测试 ， 如 图 7-34 所 示 。 





| 循环 监视 线程 
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图 7-34 模块 故障 检测 


1. 语音 故障 检测 

语音 故障 检测 有 两 种 检测 方式 : 一 是 通过 调用 已 经 录 好 的 wav 声音 文件 进行 识别 ， 这 种 
方式 把 故障 锁定 在 识别 处 理 模块 内 部 ， 消 除了 麦克 风 (mic) 或 者 声卡 的 故障 对 语音 识别 的 
影响 。 男 一 种 是 直接 通过 mic 进行 语音 的 识别 ， 通 过 以 上 两 种 方法 就 能 分 析出 语音 故障 出 现 
的 具体 位 置 。 如 图 7-35 所 示 。 

2. 语音 合成 故障 检 错 

如 果 语 音 识别 检测 无 误 ， 即 可 对 语音 合成 功能 模块 进行 故障 检 错 ， 检 测 界面 如 图 7-36 
所 示 。 


调用 wav 文 件 识别 通过 mici 别 | 
选择 文件 : 单 击 [开始 | 后 请 对 着 话 简 说 -请 输入 您 要 合成 的 语句 ， 





我 是 机 器 人 欢迎 大 家 


开始 识别 | 






































到 7-35 ”语音 故障 检测 界面 到 7-36， 语音 合成 故障 检测 界面 

















图 7-36 是 我 们 对 语音 合成 模块 进行 故障 检测 的 测试 界面 ， 判 断 该 模块 是 否 正常 运行 ， 
当 我 们 在 编辑 框 中 输入 语音 合成 文本 后 ， 点 击 测试 按钮 ， 如 果 能 通过 正确 语音 输出 该 文本 信 
息 ， 则 表明 该 模块 能 够 正确 运行 ， 否 则 表示 该 模块 出 现 故 障 。 
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3. 通信 检 错 

串口 通信 检测 首先 要 进行 串口 的 设置 如 图 7-37b 所 示 ， 然 后 在 第 二 步 中 输入 数字 发 送 ， 
下 位 机 收 到 数字 后 会 反馈 一 个 这 个 数字 如 图 7-37a 所 示 。 以 此 来 确定 串口 通信 和 是否 有 问题 。 

Ee 中 六 兰 -站 | = 访 








-第 一 步 ， 囊 加 设置 一 一 一 
设置 | 
-第 二 步 ， 输入 数据 一 一 一 


[第 三 步 : 肥 馈 数据 一 一 一 一 


| 











趾 口 设置 ， 波 特 率 ，。 有 效 位 ， 。 校 验 ， 停止 位 ， 
com! 国 [ww 国 本 加 请 国 
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图 7-37 通信 故障 检测 界面 
a) 串口 通信 检测 界面 b) 串口 通信 设置 
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第 8 音 数据 库 技 术 





通过 第 6 章 和 第 7 章 对 人 机 交互 与 合作 的 介绍 ， 我 们 可 以 联想 到 情感 机 器 人 进行 语音 交 
流 的 内 容 以 及 面部 表情 的 状态 都 是 存储 在 哪里 呢 ? 这 无 疑 涉及 数据 库 与 知识 库 的 相关 技术 。 
本 书 的 第 8 章 和 第 9 章 就 重点 介绍 有 关 数 据 库 和 知识 库 的 内 容 。 为 了 详细 说 明 数 据 库 技术 在 
情感 机 器 人 系统 中 的 应 用 ， 本 章 介绍 了 一 种 面向 数字 家 庭 的 健康 保健 数据 库 系统 ， 该 系统 通 
过 软件 工程 方法 与 理论 研究 相 结合 、 实 际 健康 变化 和 预测 分 析 相 结合 的 研究 方法 ， 建 立 了 一 
个 科学 、 有 效 的 智能 化 交互 健康 指标 预测 模型 ， 并 实现 了 一 套 切 实 可 行 的 健康 保健 数据 库 系 
统 。 图 8-1 所 示 为 健康 保健 系统 的 示意 图 。 

全 家庭 健 康 保全 永久 忆 

资料 管理 II] 。 家 中 信息 管理 [p] 。 统计 分 析 [A] 。 用 户 管理 [U] 。 系统 维护 [D] 。 攻 助 [H] 
资料 管理 
家 中 信息 管理 
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图 8-1 健康 保健 系统 示意 图 


8.1 数据 库 基 础 知识 


1. 数据 库 的 定义 

数据 库 是 按照 一 定 结构 组 织 的 相关 数据 的 集合 ， 在 计算 机 存储 设备 上 合理 地 存放 相互 关 
联 的 数据 集 。 

数据 库 的 定义 包含 了 以 下 两 个 含义 : 存储 数据 的 目的 是 为 了 应 用 处 理 服务 ; 数据 的 存储 
不 是 杂乱 无 章 的 ， 而 是 按照 特定 的 结构 进行 存储 的 。 

2. 数据 库 模 型 的 种 类 

(1) 关系 型 数据 库 

关系 型 数据 库 以 行 和 列 的 形式 存储 数据 ， 以 便于 用 户 理解 。 这 一 系列 的 行 和 列 被 称 为 
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表 ，, 一 组 表 组 成 了 数据 库 。 用 户 用 查询 (Query) 来 检索 数据 库 中 的 数据 。 每 个 Query 对 应 
于 一 个 用 于 指定 数据 库 中 行 和 列 的 SELECT 语句 。 关 系 型 数据 库 通常 包含 下 列 组 件 : 客户 端 
应 用 程序 〈Client) ; 数据 库 服务 器 〈Server); 数据 库 (Database)。 

Structured Query Language (SQL) 是 Client 端 和 Server 端的 桥梁 ，Client 用 SQL 来 向 
Server 端 发 送 请 求 ，Server 返回 Client 端 要 求 的 结果 。 现 在 流行 的 大 型 关系 型 数据 库 有 IBM 
DB2、IBM UDB 、Oracle 、SQL Server 、SyBase 、Informix 等 。 

关系 型 数据 库 管 理 系统 中 储存 与 管理 数据 的 基本 形式 是 二 维 表 。 

(2) 网 状 数据 库 

网 状 数据 库 处 理 以 记录 类 型 为 节点 的 网 状 数据 模型 的 数据 库 。 处 理 方法 是 将 网 状 结构 分 
解 成 若干 棵 二 级 树 结 构 ， 称 为 系 。 系 类 型 是 两 个 或 两 个 以 上 的 记录 类 型 之 间 联 系 的 一 种 描 
述 。 在 一 个 系 类 型 中 ， 有 一 个 记录 类 型 处 于 主导 地 位 ， 称 为 系 主 记录 类 型 ， 其 他 称 为 成 员 记 
录 类 型 。 

系 主 和 成 员 之 间 的 联系 是 一 对 多 的 联系 。 网 状 数 据 库 的 代表 是 DBTG 系统 。1969 年 美 
国 的 CODASYL 组 织 提出 了 一 份 “DBTG 报告 ” ， 以 后 ， 根 据 DBTG 报告 实现 的 系统 一 般 称 为 
DBTG 系统 。 现 有 的 网 状 数据 库 系统 大 都 是 采用 DBTG 方案 。DBTG 系统 是 典型 的 三 级 结构 
体系 : 子 模式 、 模 式 、 存 储 模 式 。 相 应 的 数据 定义 语言 分 别称 为 子 模式 定义 语言 SSDDL、 
模式 定义 语言 SDDL、 设 备 介质 控制 语言 DMCL， 另 外 还 有 数据 操纵 语言 DML。 

(3) 层次 型 数据 库 

层次 型 数据 库 管 理 系 统 是 紧 随 网 状 数据 库 而 出 现 的 。 现 实 世 界 中 很 多 事物 是 按 层 次 组 织 
起 来 的 。 层 次 数据 模型 的 提出 ， 首 先是 为 了 模拟 这 种 按 层次 组 织 起 来 的 事物 。 层 次 数据 库 也 
是 按 记录 来 存 取 数 据 的 。 层 次 数据 模型 中 最 基本 的 数据 关系 是 基本 层次 关系 ， 它 代表 两 个 记 
录 型 之 间 一 对 多 的 关系 ， 也 叫做 双亲 子女 关系 (PCR ) 。 

数据 库 中 有 且 仅 有 一 个 记录 型 无 双亲 ， 称 为 根 节 点 。 其 他 记录 型 有 且 仅 有 一 个 双 杂 。 在 
层次 模型 中 从 一 个 节点 到 其 双亲 的 映射 是 唯一 的 ， 所 以 对 每 一 个 记录 型 (除根 节点 外 ) 只 
需要 指出 它 的 双亲 ， 就 可 以 表示 出 层次 模型 的 整体 结构 。 层 次 模型 是 树 状 的 。 最 著名 且 最 典 
型 的 层次 数据 库 系 统 是 IBM 公司 的 IMS (Information Management System ) ， 这 是 IBM 公司 研 
制 的 最 早 的 大 型 数据 库 系统 程序 产品 。 从 20 世纪 60 年 代 末 产生 起 ， 如 今 已 经 发 展 到 
IMSV6 ， 提 供 群 集 、N 路 数据 共享 、 消 息 队 列 共享 等 先进 特性 的 支持 。 这 个 具有 30 年 历史 
的 数据 库 产品 在 如 今 的 WWW 应 用 连接 、 商 务 智能 应 用 中 扮演 着 新 的 角色 。 

3. 数据 库 的 种 类 及 其 特点 

(1 ) Access 数据 库 

Access 数据 库 是 美国 Microsoft 公司 于 1994 年 推出 的 微机 数据 库 管理 系统 。 它 具有 界面 
友好 、 易 学 易 用 、 开 发 简单 、 接 口 灵 活 等 特点 ， 是 典型 的 新 一 代 桌 面 数据 库 管理 系统 。 其 主 
要 特点 如 下 : 

1) 完善 地 管理 各 种 数据 库 对 象 ， 具 有 强大 的 数据 组 织 、 用 户 管理 、 安 全 检查 等 功能 。 

2) 强大 的 数据 处 理 功能 ， 在 一 个 工作 组 级 别 的 网 络 环境 中 ， 使 用 Access 开发 的 多 用 户 
数据 库 管 理 系 统 具 有 传统 的 XBASE ( DBASE 、FoxBASE 的 统称 ) 数据 库 系统 所 无 法 实现 的 
客户 服务 器 (Cient/Server) 结构 和 相应 的 数据 库 安全 机 制 ，Access 具备 了 许多 先进 的 大 型 
数据 库 管理 系统 所 具备 的 特征 ， 如 事务 处 理 / 出 错 回 滚 能 力 等 。 
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3) 可 以 方便 地 生成 各 种 数据 对 象 ， 利 用 存储 的 数据 建立 窗 体 和 报表 ， 可 视 性 好 。 

4) 作为 Office 套件 的 一 部 分 ， 可 以 与 0ffice 集成 ， 实 现 无 颖 连接 。 

5) 能 够 利用 Web 检索 和 发 布 数据 ， 实 现 与 mternet 的 连接 。Access 主要 适用 于 中 小 型 
应 用 系统 ， 或 作为 客户 机 /服务 器 系统 中 的 客户 端 数据 库 。 

(2) Informix 数据 库 

Informix 数据 库 是 美国 InfomixSoftware 公司 人 研制 的 关系 型 数据 库 管理 系统 。Informix 有 
Informix- SE 和 Informix- Online 两 种 版 本 。Informix- SE 适用 于 UNIX 和 WindowsNT 平台 ， 是 为 
中 小 规模 的 应 用 而 设计 的 ;Informix- Online 在 UNIX 操作 系统 下 运行 ， 可 以 提供 多 线程 服务 
器 ， 支 持 对 称 多 处 理 器 ， 适 合 大 型 应 用 。 

Informix 可 以 提供 面向 屏幕 的 数据 输入 询问 及 面向 设计 的 询问 语言 报告 生成 器 。 数 据 定 
义 包括 定义 关系 、 撤 销 关 系 、 定 义 索 引 和 重新 定义 索引 等 。Informix 不 仅 可 以 建立 数据 库 ， 
还 可 以 方便 地 重 构 数据 库 ， 系 统 的 保护 措施 十 分 健全 ， 不 仅 能 使 数据 得 到 保护 而 不 被 权限 外 
的 用 户 存 取 ， 而 且 能 重新 建立 丢失 的 文件 及 恢复 被 破坏 的 数据 。 其 文件 的 大 小 不 受 磁盘 空间 
的 限制 ， 域 的 大 小 和 记录 的 长 度 均 可 达 2KB。 采 用 加 下 标 顺 序 访问 法 ，Informix 与 COBOL 软 
件 兼容 ， 并 支持 C 语言 程序 。Informix 可 移植 性 强 、 兼 容 性 好 ， 在 很 多 微型 计算 机 和 小 型 机 
上 得 到 应 用 ， 尤 其 适用 于 中 小 型 企业 人 事 、 仓 储 及 财务 的 管理 。 

(3) Orcale 数据 库 

Orcale 数据 库 是 美国 Orcale 公司 研制 的 一 种 关系 型 数据 库 管 理 系统 ， 是 一 个 协调 服务 器 
和 用 于 支持 任务 决定 型 应 用 程序 的 开放 型 RDBMS。 它 可 以 支持 多 种 不 同 的 硬件 和 操作 系统 
平台 ， 从 台式 机 到 大 型 和 超级 计算 机 ， 为 各 种 硬件 结构 提供 高 度 的 可 伸缩 性 ， 支 持 对 称 多 处 
理 器 、 和 群集 多 处 理 器 、 大 规模 处 理 器 等 ， 并 提供 广泛 的 国际 语言 文 持 。Orcale 是 一 个 多 用 户 
系统 ， 能 自动 从 批 处 理 或 在 线 环境 的 系统 故障 中 恢复 运行 。 系 统 提供 了 一 个 完整 的 软件 开发 
工具 Developer 2000， 包 括 交互 式 应 用 程序 生成 器 、 报 表 打 印 软件 、 字 处 理 软件 以 及 集中 式 
数据 字典 ， 用 户 可 以 利用 这 些 工 具 生 成 自己 的 应 用 程序 。Orcale 以 二 维 表 的 形式 表示 数据 ， 
并 提供 了 SQL (结构 式 查询 语言 ) ， 可 完成 数据 查询 、 操 作 、 定 义 和 控 制 等 基本 数据 库 管 理 
功能 。Orcale 具有 很 好 的 可 移植 性 ， 通 过 它 的 通信 功能 ， 微 型 计算 机 上 的 程序 可 以 同 小 型 乃 
至 大 型 计算 机 上 的 Orcale 相互 传递 数据 。 另 外 ，Orcale 还 具有 电子 表格 、 图 形 处 理 等 软件 。 
Orcale 属于 大 型 数据 库 系统 ， 主 要 适用 于 大 、 中 型 应 用 系统 ， 或 作为 客户 机 /服务 器 系统 中 
服务 器 端的 数据 库 系统 。 

(4) DB2 数据 库 

DB2 数据 库 是 IBM 公司 研制 的 一 种 关系 型 数据 库 系 统 。DB2 主要 应 用 于 大 型 应 用 系统 ， 
具有 较 好 的 可 伸缩 性 ， 可 支持 从 大 型 机 到 单 用 户 环境 ， 应 用 于 0S/2、Windows 等 平台 下 。 
DB2 提供 了 高 层次 的 数据 利用 性 、 完 整 性 、 安 全 性 、 可 恢复 性 ， 以 及 小 规模 到 大 规模 应 用 程 
序 的 执行 能 力 ， 具 有 与 平台 无 关 的 基本 功能 和 SQL 命令 。DB2 采用 了 数据 分 级 技术 ， 能 够 
使 大 型 机 数据 很 方便 地 下 载 到 LAN 数据 库 服 务 器 ， 使 得 客户 机 /服务 器 用 户 和 基于 LAN 的 
应 用 程序 可 以 访问 大 型 机 数据 ， 并 使 数据 库 本 地 化 及 远程 连接 透明 化 。 它 以 拥有 一 个 非常 完 
备 的 查询 优化 器 而 著称 ， 其 外 部 连接 改善 了 查询 性 能 ， 并 支持 多 任务 并 行 查询 。DB2 具有 很 
好 的 网 络 文 持 能 力 ， 每 个 子 系统 可 以 连接 十 几 万 个 分 布 式 用 户 ， 可 同时 激活 上 千 个 活动 线 
程 ， 对 大 型 分 布 式 应 用 系统 尤为 适用 。 
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(5) Sybase 数据 库 

Sybase 数据 库 是 美国 Sybase 公司 研制 的 一 种 关系 型 数据 库 系 统 ， 是 一 种 典型 的 用 于 
UNIX 或 Windows 平台 上 客户 机 /服务 器 环境 下 的 大 型 数据 库 系 统 。Sybase 提供 了 一 套 应 用 程 
序 编程 接口 和 库 ， 可 以 与 非 Sybase 数据 源 及 服务 器 集成 ， 允 许 在 多 个 数据 库 之 间 复 制 数据 ， 
适 于 创建 多 层 应 用 。 系 统 具 有 完备 的 触发 器 、 存 储 过 程 、 规 则 以 及 完整 性 定义 ， 支 持 优化 查 
询 ， 具 有 较 好 的 数据 安全 性 。Sybase 通常 与 SybaseSQLAnywhere 用 于 客户 机 /服务 器 环境 ， 
前 者 作为 服务 器 数据 库 ， 后 者 为 客户 机 数据 库 ， 采 用 该 公司 研制 的 PowerBuilder 作为 开发 工 
有 具 ， 在 我 国 大 、 中 型 系统 中 具有 广泛 的 应 用 。 

(6) FoxPro 数据 库 

FoxPro 数据 库 最 初 由 美国 Fox 公司 1988 年 推出 ，1992 年 Fox 公司 被 Microsoft 公司 收购 
后 ， 相 继 推出 了 FoxPro2.5、2. 6 和 VisualFoxPro 等 版 本 ， 其 功能 和 性 能 有 了 较 大 的 提升 。 
FoxPro2. 5 、2. 6 分 为 DOS 和 Windows 两 种 版 本 ， 分 别 运 行 于 DOS 和 Windows 环境 下 。Fox- 
Pro 比 FoxBASE 在 功能 和 性 能 上 又 有 了 很 大 的 改进 ， 主 要 是 引入 了 窗口 、 按 钮 、 列 表 框 和 文 
本 框 等 控件 ， 进 一 步 提 高 了 系统 的 开发 能 

(7) SQL Server 数据 库 

SQL Server 是 由 Microsoft 公司 推出 的 一 种 关系 型 数据 库 系统 。 它 是 一 个 可 扩展 的 、 高 性 
能 的 、 为 分 布 式 客户 机 /服务 器 计算 所 设计 的 数据 库 管 理 系 统 ， 实 现 了 与 WindowsNT 的 有 机 
结合 ， 提 供 了 基于 事务 的 企业 级 信息 管理 系统 方案 。 

其 主要 特点 如 下 : 

1) 高 性 能 设计 ， 可 充分 利用 Windows 的 优势 。 

2) 系统 管理 先进 ， 支 持 Windows 图 形 化 管理 工具 ， 支 持 本 地 和 远程 的 系统 管理 和 配 
































3) 强大 的 事务 处 理 功 能 ， 采 用 各 种 方法 保证 数据 的 完整 性 。 

4) 支持 对 称 多 处 理 器 结构 、 存 储 过 程 、ODBC， 并 具有 自主 的 SQL 语言 。SQL Server 以 
其 内 置 的 数据 复制 功能 、 强 大 的 管理 工具 、 与 Internet 的 紧密 集成 和 开放 的 系统 结构 为 广大 
的 用 户 、 开 发 人 员 和 系统 集成 商 提 供 了 一 个 出 众 的 数据 库 平 台 。 

在 本 研究 中 ， 主 要 使 用 关系 型 数据 库 一 一 MS SQL SERVER 2005， 下 面 主 要 介绍 SQL 
Server 的 功用 。 

SQL Server 数据 平台 包括 以 下 工具 : 

1) 关系 型 数据 库 : 安 人 全、 可靠、 可 伸缩 、 高 可 用 的 关系 型 数据 库 引 擎 ， 提 升 了 性 能 且 
文 持 结构 化 和 非 结 构 化 (XML) 数据 。 

2) 复制 服务 : 数据 复制 可 用 于 数据 分 发 、 处 理 移 动 数据 应 用 、 系 统 高 可 用 、 企 业 报 表 
解决 方案 的 后 备 数据 可 伸缩 存储 、 与 异 构 系 统 的 集成 等 ， 包 括 已 有 的 Oracle 数据 库 等 。 

3) 通知 服务 : 用 于 开发 、 部 署 可 伸缩 应 用 程序 的 先进 的 通知 服务 能 够 向 不 同 的 连接 和 
移动 设备 发 布 个 性 化 、 及 时 的 信息 更 新 。 

4) 集成 服务 : 可 以 支持 数据 仓库 和 企业 范围 内 数据 集成 的 抽取 、 转 换 和 装载 。 

5) 分 析 服 务 : 联机 分 析 处 理 (OLAP) 功能 可 用 于 多 维 存储 的 大 量 、 复 杂 数 据 集 的 快 
速 高 级 分 析 。 

6) 报表 服务 : 全 面 的 报表 解决 方案 ， 可 创建 、 管 理 和 发 布 传统 的 、 可 打印 的 报表 和 交 
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互 的 、 基 于 Web 的 报表 。 

7) 管理 工具 : SQL Server 包含 的 集成 管理 工具 可 用 于 高 级 数据 库 管理 和 协调 ， 它 也 和 
其 他 微软 工具 ， 如 MOM 和 SMS 紧密 集成 在 一 起 。 标 准 数 据 访问 协议 大 大 减少 了 SQL Server 
和 现 有 系统 间 数 据 集成 所 花费 的 时 间 。 此 外 ， 构 建 于 SQL Server 中 的 内 舰 Web service 支持 
确保 了 和 其 他 应 用 及 平台 的 互 操作 能 

8) 开发 工具 : SQL Server 为 数据 库 引 擎 、 数 据 抽取 、 转 换 和 装载 (ETL) 、 数 据 挖掘 、 
OLAP 和 报表 提供 了 和 Microsoft Visual Studio 相 集 成 的 开发 工具 ， 以 实现 端 到 端的 应 用 程序 
开发 能 力 。SQL Server 中 每 个 主要 子 系统 都 有 自己 的 对 象 模 型 和 API， 能 够 以 任何 方式 将 数 
据 系 统 扩展 到 不 同 的 商业 环境 中 。 

SQL Server 2005 数据 平台 为 不 同 规模 的 组 织 提供 了 以 下 好 处 : 

1) 充分 利用 数据 资产 : 除了 为 业务 线 和 分 析 应 用 程序 提供 一 个 安全 可 靠 的 数据 库 之 
外 ，SQL Server 2005 也 使 用 户 能 够 通过 骨 入 的 功能 ， 如 报表 、 分 析 和 数据 挖掘 等 从 它们 的 数 
据 中 得 到 更 多 的 价值 。 

2) 提高 生产 力 : 通过 全 面 的 商业 智能 功能 和 熟悉 的 应 用 软件 (如 Office 微软 系统 ) 集 
成 ，SQL Server 2005 为 组 织 内 信息 工作 者 提供 了 关键 的 、 及 时 的 商业 信息 以 满足 它们 特定 的 
需求 。SQL Server 2005 目标 是 将 商业 智能 扩展 到 组 织 内 的 所 有 用 户 ， 并 且 最 终 允 许 组 织 内 所 
有 级 别 的 用 户 能 够 基于 它们 最 有 价值 的 资产 一 一 数据 来 做 出 更 好 的 决策 。 

3) 减少 开 复杂 度 : SQL Server 2005 简化 了 开发 、 部 署 和 管理 业务 线 和 分 析 应 用 程序 的 
复杂 度 ， 它 为 开发 人 员 提 供 了 一 个 灵活 的 开发 环境 ， 为 数据 库 管理 人 员 提 供 了 集成 的 自动 管 
理工 具 。 

4) 更 低 的 总 体 拥有 成 本 (TCO): 对 产品 易 用 性 和 部 署 上 的 关注 以 及 集成 的 工具 提供 
了 工业 上 最 低 的 规划 、 实 现 和 维护 成 本 ， 使 数据 库 投 资 能 快速 得 到 回报 。 


8.2 健康 数据 库 的 设计 


健康 已 被 越 来 越 多 的 现代 人 所 关注 ， 在 传统 的 健康 保健 方法 中 ， 人 必须 要 到 医院 去 做 相 
应 的 检查 ， 需 要 排队 、 挂 号 等 ， 付 出 了 宝贵 的 时 间 ， 而 且 效 率 低下 、 效 果 不 佳 ， 使 人 不 免 为 
自己 将 来 的 健康 状况 忧心 虱 刷 。 而 数字 家 庭 是 顺应 高 速 发 展 的 计算 机 技术 和 网 络 技术 的 现代 
化 产物 ， 在 提升 大 家 检查 速度 的 同时 ， 也 提高 了 大 家 的 健康 质量 ， 因 此 ， 我 们 急需 一 个 健康 
保健 数据 库 系统 来 实现 ， 如 记录 家 庭 成 员 的 健康 状态 、 安 全 可 靠 的 存储 数据 、 查 新 、 模 糊 搜 
索 等 功能 。 

本 节 将 要 讲述 如 何 建立 健康 保健 数据 库 系统 。 

系统 的 开发 平台 及 运行 环境 如 下 : 

1) 系统 开发 平台 : Microsoft Visual Stutio 2005 ; 

2) 采用 技术 及 编程 语言 : 采用 ASP. NET 2. 0 技术 ， 编 程 语言 为 C#; 

3) 数据 库 管 理 系统 软件 : Microsoft SQL Server 2005 ; 

4) XML 编辑 环境 : Altova XMLSpy; 

5) 页 面 辅助 编辑 : Macromedia Dreamweaver 8 ; 

6) 运行 平台 : Windows Vista/Windows XP/Windows 2000/Windows Server 2003 ; 
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7) 运行 环境 : Microsoft . NET Framework SDK .0; 
8) 分 辨 率 : 最 佳 效 果 1024 x768 像素 。 


8.2.1 系统 目标 设计 


本 系统 属于 小 型 的 数据 库 管 理 系 统 ， 可 以 对 家 庭 中 成 员 的 健康 状况 进行 有 效 的 管理 。 通 
过 本 系统 可 以 达到 以 下 目标 : 

1) 灵活 的 录入 数据 ， 使 信息 传递 更 便捷 。 

2) 系统 采用 人 机 交互 方式 ， 界 面 美观 、 友 好 ， 信 息 查 询 方式 灵活 、 方 便 ， 数 据 存储 安 
全 可 靠 。 

3) 实现 后 台 监 控 功 能 。 

4) 对 健康 数据 进行 整体 分 析 和 局 部 分 析 功 能 。 

5) 实现 各 种 查 新 ， 文 持 模 糊 查询 。 

6) 实现 家 庭 成 员 健康 数据 的 信息 化 管理 。 

7) 对 用 户 输入 的 数据 进行 数据 检验 ， 尽 可 能 避免 人 为 错误 。 

8) 系统 最 大 限度 地 实现 易 维护 性 和 易 操作 性 。 


8.2.2 应 用 系统 规划 及 功能 结构 


家 庭 健康 保健 数据 库 系 统 主 要 由 资料 管理 、 家 中 信息 管理 、 统 计 分 析 、 用 户 管理 、 系 统 
维护 、 帮 助 等 模块 组 成 ， 具 体 规划 如 下 : 

1) 资料 管理 模块 。 该 模块 主要 用 于 实现 对 家 庭 中 的 一 些 健康 数据 的 管理 、 区 域 信息 的 
管理 、 用 户 资料 管理 等 功能 。 

2) 家 中 信息 管理 模块 。 该 模块 主要 用 于 实现 家 人 基本 人 
息 、 重 大 历史 事件 信息 管理 等 功能 。 

3) 统计 分 析 模 块 。 该 模块 主要 用 于 对 健康 数据 进行 各 项 指标 的 分 析 ， 这 部 分 的 具体 实 
现 算法 和 过 程 详 见 第 2 章 。 

4) 用 户 管理 模块 。 该 模块 主要 包括 对 用 户 资 料 进行 管理 、 更 改 密码 、 更 改 权 限 等 功 
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息 、 家 人 其 他 信息 、 电 器 信 























5) 系统 维护 模块 。 该 模块 主要 用 于 实现 对 系统 数据 库 中 数据 的 备份 、 还 原 和 清理 功 


6) 帮助 模块 。 该 模块 主要 包括 创建 记事 本 、Word 文档 、Excel 文档 ; 实现 窗口 的 水 平 
平 铺 和 垂直 平 铺 ; 关于 我 们 ; 系统 的 重新 登录 和 退出 系统 功能 。 
图 8-2 所 示 为 健康 保健 数据 库 系统 的 系统 功能 结构 图 。 


8.2.3 系统 的 业务 流程 
健康 保健 数据 库 系 统 的 业务 流程 如 图 8-3 所 示 。 
8.2.4 ”系统 寞 面 设计 


本 系统 是 一 个 C/S 结构 的 系统 ， 界 面 框架 、 样 式 及 导航 人 逻辑 采用 HTML + CSS + JavaS- 
cript 进行 编辑 。 
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| “健康 保健 数据 库 系统 。 | 系统 
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健 | | 用 | | 家 | | 家 | | 电 | | 重 | | 血 | | 可 | | 全 人 
康 | | 户 | | 人 | | 人 器 | | 大 | | 压 | | 毛 | 本 | 有 | | 更 | | 设 司 | 司 | 莉 /| | 关 | | 重 | | 退 
数 | | 资 | | 基 | | 其 | | 信 | | 历 | | 情 | | 指 户 | | 改 | | 置 | | 据 | | 据 | | 所 重 | | 于 | | 新 | | 出 
据 | | 料 | | 本 | | 他 | | 息 | | 史 | | 况 | | 标 | 奈 | | 管 | | 密 | | 权 | | 备 | | 还 | | 滞 吉 | | 我 | | 登 | | 系 
答 | | 管 | | 信 | | 信 | | 管 | | 事 | | 分 | | 分 豆 | | 型 | | 三 | | 限 | | 份 | | 原 | 加 | al 二 | 各 | | 对 | 统 
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析 
旭 8-2 ”健康 保健 数据 库 系统 的 系统 功能 结构 区 
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统计 分 析 系统 维护 


图 8-3 ”健康 保健 数据 库 系统 业务 流 


系统 界面 的 整体 结构 如 图 8-4 所 示 ， 采 用 Frame 将 完整 

topFrame 作为 功能 导航 的 一 级 目录 ， 摘 述 一 个 完整 的 业务 
环节 ， 并 且 负 责 显示 一 些 用 户 或 工程 的 简要 信息 ; 左 侧 的 
leftFrame 作为 一 级 功能 目录 下 的 二 级 子 目 录 ， 描 述 完 整 业 
务 环 ee ; 右 侧 的 mainFrame 是 功能 的 内 
容 页 面 ， 负 责 向 用 户 提供 具体 的 可 操作 逻辑 及 数据 ， 助 其 
II 一 二 级 功能 目录 按 图 8- 
4 中 的 功能 层次 划分 。 











程 图 
页 面 划分 为 三 个 子 页 面 。 上 面 的 


























一 级 功能 目录 / 用户 概要 信息 








二 级 
功能 内 容 页 面 
目录 














图 8-4 系统 的 界面 的 整体 结构 划分 
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8.2.5 系统 功能 结构 
系统 的 具体 流程 与 职责 情况 如 图 8-5 系统 用 例 分 析 所 示 。 


区 域 信息 管理 
电器 信息 管理 ) (下 大 历史 事件 健康 数据 管理 
板块 板块 板块 用 户 管理 板块 
. 用 户 资料 管理 
家 人 其 他 信息 资料 管理 板块 
板块 





更 改 密码 板块 
设置 权限 板块 
用 户 管理 板块 





家 人 基本 信息 
板块 


血压 分 析 板 NE 数据 备份 板块 
压 分 析 板块 od) 一 


血 氧 分 析 板块 关于 我 们 板块 )\ (水 平平 铺 板 块 CE 系统 维护 板块 
垂直 平 铺 板块 
4 人 
重新 登录 板块 帮助 板块 Rt 
数据 情侣 板块 


退出 系统 板块 启用 Word 板 块 
启用 Excel 板 块 


图 8-5 系统 用 例 分 析 图 











从 图 8-5 可 以 看 出 ， 本 系统 主要 的 用 户 类 型 有 两 种 ， 分 别 用 来 实现 对 不 同 模块 的 权限 管 
理 与 设置 。 其 中 ， 超 级 用 户 管理 员 可 以 实现 系统 所 有 功能 的 设置 及 修改 ， 而 普通 用 户 可 以 用 
来 对 自己 的 健康 信息 进行 录 和 人 人、 查询 以 及 修改 ， 这 样 一 来 ， 可 以 很 方便 地 保护 自己 的 隐私 功 
能 ， 从 而 增强 了 系统 的 可 用 性 。 


8.2.6 数据 库 设计 


本 系统 采用 SQL Sever2005 作为 后 台数 据 库 ， 数 据 库 命 名 为 db_Health， 其 中 包含 8 张 数 
据 表 。 下 面 分 别 进行 各 个 模块 的 介绍 。 

1. 数据 库 

本 健康 系统 所 使 用 数据 库 命 名 以 字母 “db” (小 写 ) 开 ， 后 面 加 数据 库 相 关 英 文 单词 或 
缩写 见 表 8- 1 。 
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表 8-1 数据 库 
数据 库 名 称 描 述 








db_Health 健康 保健 数据 库 管 理 系 统 





2. 数据 表 


本 健康 系统 所 使 用 的 数据 表 以 字母 “由 ”开头 〈 小 写 ) ， 后 面 加 上 数据 包 相关 英 文 单词 
或 缩写 见 表 8-2。 













































































表 8-2 数据 表 
数据 表 名 称 描 述 
th_User 家 人 用 户 表 (存储 密码 和 权限 等 ) 
tb_Info 家 人 信息 表 (存储 主要 的 家 人 信息 ) 
th_Test 家 人 测量 结果 表 (存储 测量 健康 值 ) 
th_Mac 家 中 仪器 使 用 情况 表 








图 8-6 所 示 为 tb_User 其 在 SQL 2005 中 对 应 的 图 。 
tb_User 


国 第 所 类 型 将 变 
[3 UserIC warcharfe 人 i 


warchariem 


warcharfe 人 人 
charl0 








图 8-6 数据 表 
3. 字段 
本 健康 系统 所 使 用 的 字段 一 般 采 用 英文 单词 或 者 词组 命名 ， 如 找 不 到 专业 的 英文 单词 或 
词组 ， 可 以 用 相同 的 英文 单词 或 者 词组 代替 。 以 用 户 表 为 例 ， 其 字段 命名 见 表 8-3， 其 对 应 
的 SQL 图 如 图 8-6 所 示 。 
表 8-3 字段 命名 

















字段 名 称 描 述 
UserID 家 人 编号 
UserName 家 人 名 称 
UserPwd 家 人 所 使 用 的 密码 
UserRight 家 人 的 权限 





针对 健康 数据 的 需求 ， 所 设计 的 健康 数据 表 由 _Test 在 实际 数据 库 中 的 形式 如 图 8-7 所 
示 。 


其 中 ，hTestTime 代表 测试 时 间 ，hBloodHigh 代表 血压 的 最 高 值 ，hBloodHigh 代表 血压 
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的 最 低 值 (正常 血压 在 60 ~ 120 之 间 ) ，hSP0O2 代表 血 氧 含量 ，hPulse 代表 脉搏 跳动 次 数 ， 
hPat 代表 有 无 吃 过 饭 (y 了 吃 过 ,n 没 吃 过 ) ，hSleep 代表 睡觉 时 间 ，hWake 代表 睡 醒 时 间 。 

















了 














































































































hTestTime hBloodHigh [hBloodLow [hSPOZ hPulse hEat hsleep hwwake 区 
p 2008-6-18 12:0... 133 a Se E4 和 2008-6-17 D:DD:DO 2008-6-18 8:£ 
2008-6-14 22;0,,, 146 SS 并 66 de 2008-6-14 0;30;00 2008-6-146;* 
ZO0S-G-zZZ 10:0... 时 学 还 73 nm 2008-6-22 DO:30:00 ZO008-6-20 号 区 
OUB-e-23 70 和 芝 人 Se S82 2008-5-24 0:30:00 2008-6-23 号 := 
2008-6-24 11:;4,,, 工人 十 73 SB Dee nm 2Z008-6-25 0O;:30;:00 2Z0086-6-24 已 
ZDDS-6-ZS 17:5... 127 [= a9 ED vy 2Z008-6-25 0:00:00 2Z008-6-25 S:C 
2008-5-26 9:16:00 126 S32 ey os ne 2008-6-27 0:15:00 2008-6-26 7:5 
2008-6-27 15:;3,,, 135 38 SS 73 Y 2008-6-27 0:00;:00 2008-6-27 日 := 
2Z008-6-28 9:25:00 128 87 号 字 号 Ea 2Z008-6-28 DIDDIDD 2Z008-6-28 三: 
2008-6-29 9:00:00 129 a0 98 x 2008-6-30 0:30:00 2008-56-29 9:0C 
2008-56-30 9:;:25:00 127 rs oy 63 和 006- 30 22230 2008-6-30 9:C 
i i 565 sh Bz Ea 2Z008-6-16 DO:00:00 2Z0086-6-13 B:C 
2008-6-20 38:51:00 95 性 十 S95 FS 名 UAE 2008-6-20 了 7: 
2DDB-6-21 11:5... 59 SS a9 655 vy 2008-6-22 1:40:00 2008-6-21 了 := 
2008-6-21 18:0.,. 98 3 Se 后 7 多 2008-6-22 1:40:00 2DDS-6-21 7:= 
2008-6-22 10:0... SS E64 a PS 2008-6-22 28rd 2008-6-22 SB:L 
2Z003-6-2Z39:00:00 101 S53 59 73 Y 2008-6-23 23:4.,., 2008-6-23 7;< 
2008-6-23 11:5... 109 46 Se ES 2008-6-23 23:4... 2008-6-23 7:< 
2006:6 2 人 4144 i100 3 部 呈 67 A > 2 
2008-6-24 22:0... 123 El Se ES vy EE 2008-6-24 7:z 
2008-6-25 11:;5,.,, 127 63 99 66 时 2008-6-25 DiDD;DD 2008-6-25 了 1: 
2DDB-6-26 9S:16:00 104 En ss， 7 了 5S 2008-6-27 0:30:0D 2008-6-26 7 了 :< 
OOP 20 td ed 人 a 59 pa 2008-56-19 DO:0D0:00 2008-6-20 8:C 
2008-6-27 12:0,,, 565 5 99 G57 时 2008-6-28 1:40:DD 2008-6-26 7 了 :5 
2008-6-286 8:58:00 356 45 3 天 Ea 2Z008-6-29 DO:20:00 2Z008-6-28 了 := 
3 PP en a 一 a ~~ 2 i vg 

















有 8-7 ”tb_Test 数据 表 





4. 存储 过 程 

为 了 提高 查询 效率 、 减 小 查询 复杂 度 ， 我 们 将 一 些 较 复杂 的 查询 写成 存储 过 程 。 存 储 过 
程 命名 以 字母 “proc” 开 头 (小 写 ) ， 后 面 加 表示 该 存储 过 程 作用 的 相关 英文 单词 或 缩写 ， 
见 表 8-4。 





表 8-4 存储 过 程 
环 市 存储 过 程 名 称 说 明 























登录 proc_UserValidate 验证 不 同类 型 用 户 的 登录 ， 并 返回 验证 状态 
. proc_AddUserToHeal 为 健康 系统 中 添加 一 名 家 庭 成 员 
家 人 管理 
proc_DelUserFromHeal 从 健康 系统 中 删除 一 名 家 庭 成 员 





























proc_ModifyHealth 编辑 健康 记录 中 概要 信息 ， 新 添 或 更 新 记录 
proc_ModifyUser 编辑 用 户 信息 记录 部 分 ， 新 添 或 更 新 记录 








编辑 信息 


记录 



































8.3 系统 的 主要 功能 模块 设计 与 实现 


系统 主 窗 体 主要 由 三 个 部 分 构成 ， 分 别 为 菜单 栏 、 导 航 菜 单 和 状态 栏 。 其 中 ， 在 制作 导 
航 菜 单 时 ,使 用 了 第 三 方 控 件 NavBarControl。 主 窗 体 的 运行 结果 如 图 8-1 所 示 。 

从 图 8-1 中 可 以 看 出 ， 该 家 庭 健康 保健 系统 主要 包括 六 个 功能 模块 ， 资 源 管理 模块 、 家 
中 信息 管理 模块 、 统 计 分 析 模 块 、 用 户 管理 模块 、 系 统 维护 模块 和 帮助 模块 。 下 面 分 别 对 具 
体内 容 进 行 详细 介绍 。 
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8.3.1 系统 登录 设计 与 实现 


系统 登录 主要 是 为 进入 该 系统 的 用 户 进行 身份 验证 ， 防 止 不 合法 的 用 户 使 用 该 系统 ， 并 
对 通过 验证 的 用 户 进行 权限 级 别 辨别 ， 从 而 给 予 不 同 的 操作 权限 。 窗 体 的 设计 过 程 如 下 。 
新 建 一 个 Windows 窗 体 后 命名 为 frmLogin. cs， 主 要 用 于 实现 系统 登录 功能 ， 使 用 的 控件 
有 Label 、ComboBox 、TextBox 、Button 。 通 过 对 其 参数 进行 设计 ， 从 而 得 到 以 下 的 登录 窗 体 ， 
如 图 8-8 所 示 。 





您 所 选择 的 用 己 梭 限 洛 : 





图 8-8 登录 窗 体 
a) 普通 用 户 登录 情况 b) 管理 员 登 录 情 况 





图 8-8 所 示 的 登录 窗 体 根据 输入 的 用 户 名 称 来 判断 不 同 的 用 户 级 别 。 其 实现 方法 是 : 首 
先 声明 三 个 静态 全 局 变量 , 分别 用 于 记录 登录 用 户 的 名 字 、 密 码 和 权限 ， 然 后 声明 公共 类 
BaseOperate 和 OperateAndValide 的 两 个 全 局 对 象 ， 通 过 类 对 象 调用 类 中 的 功能 。 


8. 3.2 管理 相关 设计 与 实现 


1. 用 户 管理 

用 户 管理 窗 体 主要 实现 对 家 庭 人 员 基 本 健康 信息 的 添加 、 修 改 、 保 存 和 删除 等 功能 。 在 
该 窗 体 中 ， 首 先 判 断 的 是 家 人 的 信息 是 否 已 经 存在 ， 如 果 存 在 ， 则 不 显示 【添加 】 按钮 ， 
用 户 只 能 对 已 经 存在 的 企业 信息 进行 修改 、 保 存 和 删除 操作 ; 否则 ， 显 示 【 添 加】 按钮 ， 
这 时 ， 用 户 可 以 进行 企业 的 添加 、 修 改 、 保 存 和 删除 操作 。 

用 户 信息 管理 窗 体 的 运行 结果 如 图 8-9 所 示 ， 对 其 密码 更 改 和 权限 设置 如 图 8-10 所 
示 。 

2. 健康 资料 管理 
健康 资料 管理 主要 用 来 记录 家 人 的 日 党 测量 健康 数据 ， 并 将 其 保存 在 数据 库 中 ， 便 于 定 
时 进行 分 析 ， 实 现 数据 的 添加 、 修 改 、 删 除 和 查找 功能 。 而 家 人 资料 管理 用 来 将 家 人 的 基本 
情况 信息 添加 到 数据 库 中 ， 并 同样 可 以 实现 数据 的 添加 、 修 改 、 删 除 和 查找 功能 。 该 种 窗 
体 中 使 用 了 公共 类 OperateAndValidate 中 的 相关 方法 分 别 对 邮政 编码 、 电 话 号 码 、E-mail 
地 址 格式 进行 验证 ， 只 有 在 全 部 验证 都 通过 时 ， 才 可 以 进行 健康 信息 的 添加 、 修 改 和 保 
持 操作 。 
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全 家 许 竺 康 保健 系统 局 = 下 | 
资料 首 理 [0 ”家 中 信息 管理 [E] ”统计 分 析 [8] 。 用 户 管理 [U] 系统 维护 [D] 。 必 助 [H] 
资料 管理 








加 











| 家 中 信息 管理 曙 用 户 窟 天 \ 
统计 分析 :和 电 | 窗 | 国 | XX | 查询 条 件 
[EF 国 用 户 基本 信息 


用 户 编号 
用 户 宪 码 











系统 维护 


GB] 






































放 
导 
图 








| 


om 
(bi 


YH1000002 





























北京 和 


www.ustb.edu.cn 





[| 反作用 户 : mr | 登录 时 间 ; 2009 年 9 月 18 日 10:14:58 || 北 京 科技 术 学 制作 || www.ustb.edu,cn 








图 8-9 用 户 管理 




















图 8-10 进行 操作 用 户 的 密码 修改 和 超级 管理 员 权 限 设 置 
a) 更 改 密码 框 b) 权限 设置 框 








家 人 的 资料 管理 界面 如 图 8-11 所 示 。 其 中 ， 联 系 电话 输入 错误 的 时 候 ， 给 出 相应 提示 ， 
点 击 红色 的 提示 处 即 可 看 到 对 输入 格式 的 提示 消息 。 

健康 信息 管理 界面 同 用 户 资料 管理 界面 类 似 ， 在 这 不 再 展开 论述 ， 如 图 8-12 所 示 是 健 
康信 息 管 理 界面 。 


8.3.3 统计 分 析 模 块 的 设计 与 实现 


本 节 通 过 使 用 BingdingNavigator 控件 和 CrystalReportViewer 控件 来 实现 统计 分 析 模 块 。 
其 中 ，BingdingNavigator 控件 用 来 执行 查找 、 退 出 和 选择 查询 条 件 操 作 ，CrystalReportViewer 
控件 用 来 形成 并 显示 家 人 的 健康 指标 分 析 报 表 。 

在 此 窗 体 中 ， 通 过 调用 公共 类 OperateAndValidate 中 的 CrystalReport ( ) 对 家 人 的 分 
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析 报 表 进 行 数据 绑 定 ， 显 示 家 人 健康 的 变化 曲线 情况 ， 以 血压 值 为 例 ， 进 行 的 健康 曲线 分 析 
和 预测 如 图 8-13 所 示 。 


僧 家 应 限 康 保 委 条 统 入 口 | 加 | 逐 
资料 管理 [DQ 家 中 信息 管理 [P] 。 统计 分 析 [ 铝 用户 管理 [ 册 ”系统 维护 [D] 。 帮助 [H 






























资料 管理 国 
家中 信息 管理 四 蝎 用 户 资 料 管理 
将 计 分 析 x 总 | 这 兴 | 查询 条 件 ”| 关键 字 
一 一 一 一 用 户 基本 资料 
| 时 各 二 用 户 编号 EH1000007 用 户 名 称 




















系统 维护 
帮助 


性 别 南 嫩 否 
所 属 行业 其 他 血 型 
用 户 来 源 | 北京 联系 电话 
身 高 |185 em 邮政 编码 |100083 

联系 地 址 | 海淀 区 直 新 小 区 E-mail |warsel28. com 
备注 






































| 










































































[用 大 曙 与 二 
[otooo0or 边 丽 丽 学 生 未 婚 
ooo002 学 生 所 站 
Ht0nn003 证 教师 已 碾 
HHinno0ad | 教师 已 虐 
FHIOOODDS 公司 已 既 
FHi0Q000B 


















































| 操作 用 户 : mr | 登录 时 间 : 2009 年 9 月 18 日 10;14:58 || 北 京 科技 大 学 制作 || wwwustb,edu,cn 


图 8-11 填写 中 出 现 违规 格式 时 的 提示 错误 













































































| 训 计 届 卫 和 a 
资料 管理 [中 ”家 中 信息 管理 [P] ”统计 分 析 [&] ”用户 管 理 [u] 。 系统 维护 [0] 。 帮助 [H 
资料 管理 加 
| 家 中 信息 管理 加 蝎 健康 信息 管理 \ 
统计 分 析 四 病 | 窗 国 XX 查询 条 件 ~， 关键 字 
过 当日 健康 基本 信息 
上 = 录入 编号 [0S1000005 测量 时 间 |2008-8-14 12:12 
天 扩 才 从 测量 区 域 | 吉林 | 吃 早 饭 否 
加 全 运动 情况 | 只 名 睡 午觉 否 




















脉搏 体 重 区 
血 含 气量 高 /低压 |123745 
早起 时 间 晚 睡 时 间 |23:30 
备注 






























































东 入 磺 号 和 量 时 间 高 低压 
TDs1000001 2008-6-12 134798 
[nst000002 2008-6-13 12:23 118/92 
[ns1000003 2008-6-12 12:10 \124/82 





























Ds1000004 2008-6-13 12:17 |123/86 





Ds1000005 2008-6-14 12:12 |123/45 














| 操作 用 户 ; mr || 登 录 时 间 ; 2009 年 9 月 18 日 10:14:58 || 北 京 科技 大 学 制作 || wwwwustb,edu,cn 


图 8-12 按照 标准 格式 填写 
8. 3.4 ”系统 维护 及 帮助 的 设计 与 实现 


1. 系统 维护 的 设计 与 实现 

系统 维护 窗 体 主 要 进行 系统 中 数据 库 的 数据 备份 、 数 据 还 原 以 及 数据 清理 。 该 窗 体 的 设 
计 过 程 中 使 用 了 ofDialogFile 控件 ， 用 来 在 对 话 框 中 显示 文件 ， 从 而 进行 对 应 的 数据 备份 、 
数据 还 原 以 及 数据 清理 过 程 ， 图 8-14 所 示 为 数据 备份 过 程 ， 如 图 8-15 所 示 为 数据 还 原 过 


程 。 
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全 守卫 通 康 保健 素 二 - [雄二 级别 分 析 ] J: 到 lelel 2 | 
叹 区 税 理 家 中 生息 省 理 Pp] 统计 分 析 [A] 用户 管理 u] 不 统 扒 护 (D] 家] i 
ECE 加 

| 家 中 信息 管理 [ES 

统计 分 新 加 

(mrs 口 ] 

上 交 夫 入 四 

| 可 网 自 




















EF 和 当下 让 生生 村 























1 换 作 用 户 : me | 羽 录 时 间 : 2009 年 9 月 1 日 16:29:54 | 北京 科技 大 学 制作 | wwwustb.edu-on 


到 8-13 ”对 血压 值 进行 的 健康 分 析 与 预测 

























资料 管理 [J 
| 柚 科 管理 


备份 立 件 路 径 






























这 而 而 (E:) 
上 四) 的 年 资料 

辐 2z003-5-14 修 组 学 习 资 料 
上 名 history Project 




































9) b) 


图 8-14 数据 备份 过 程 
a) 打开 数据 备份 框 b) 选择 要 备份 到 的 文件 夹 c) 数据 备份 成 功 提示 





出 


2. 帮助 的 设计 与 实现 

帮助 窗口 里 面 主 要 实现 的 word 文档 的 建立 、 文 本 文件 的 建立 以 及 联系 我 们 和 和 窗口 的 水 
平平 铺 和 垂直 平 铺 ， 其 中 ，this. LayoutMdi ( MdiLayout. TileVertical ) ; // 午 直 平 铺 ; this. 
LayoutMdi (MdiLayout. TileHorizontal ) ; // 水 平平 铺 ; 如 图 8-16 所 示 。 
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要 还 原 的 交 件 


EE====3 











a) 选择 要 还 原 的 文 


证 二 本 于 











资料 管理 


资料 管理 [D] 。 家 中 信息 答 理 [P] 


家 中 信息 管理 





> ha 3 
幸 计 分 析 [a] ”用户 管理 [U] ”系统 维护 [0] ”帮助 [H] 





> 














用 户 管理 





较 计 分 析 


?] 3 











>] 


查找 范围 [)，| 训 台面 而 








条 撤 扒 护 




















| 加 .bak 





帮助 





加 加 | 


















































bak 











bak files (#. bak) 














































图 8-15 数据 还 原 流程 图 

































































































































































































































































牛 b) 选中 要 还 原 的 备份 文件 c) 要 还 原 的 备份 文件 选择 d) 数据 还 原 成 功 提示 
俐 Oo 华 未 弃 全 康 攻 全 天 已 | 加 | 人 上 
光 科 种 再] 家中 信息 管理 搞 计 分析 [A]。 用 户 管理 [U ET 资料 管理 家中 信息 管 青 目 统计 分 析 []。 用 户 管理 系统 维护 [D] 各 勋 H] 
Ee a" | ae [a TT 
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图 8-16 窗口 的 垂直 和 水 平平 铺 
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垂直 平 铺 窗口 





























开发 过 程 中 应 用 的 关键 技术 


1. 使 用 session 变量 进行 用 户 身 份 验证 


使 用 session 对 象 存 储 特定 的 用 户 会 话 所 需 的 信息 。 当 家 人 在 此 健康 系统 的 应 用 程 


b) 水 平平 铺 窗 口 
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之 间 跳 转 时 ， 存 储 在 Session 对 象 中 的 变量 不 会 清除 ， 而 家 人 在 应 用 程序 中 访问 页 面 时 ， 这 
些 变量 始终 存在 。 当 家 人 请 求 来 自 应 用 程序 的 Web 页 时 ， 如 果 该 用 户 还 没有 会 话 ， 则 Web 
服务 器 将 自动 创建 一 个 session 对 象 。 当 会 话 过 期 或 被 放弃 后 ， 服 务 器 将 终止 该 会 话 。 

2. 实现 对 数据 库 的 插入 、 删 除 和 修改 操作 

SQL 查询 是 主要 的 数据 库 操作 ， 里 面 最 和 常用 的 命令 是 SELECT 语句 ， 用 于 检索 数据 ; 
INSERT 语句 用 于 数据 的 插入 ; DELECT 语句 用 于 数据 的 删除 ; UPDATE 语句 用 于 数据 的 更 
新 。 在 此 健康 保健 数据 库 中 同样 使 用 了 这 些 方 法 。 

3. 水 晶 报 表 的 实现 

本 系统 在 实现 健康 指标 统计 分 析 时 采用 了 水 唱 报 表 ， 按 照 VS 中 设计 水 晶 报表 的 步 又 设 
计 完 水 唱 报 表 后 ， 需 要 在 Windows 应 用 程序 中 显示 。VS2005 中 基础 水 晶 报 表 查 看 器 ， 用 户 
可 以 通过 该 查看 器 在 Windows 应 用 程序 中 查看 以 及 创建 的 水 晶 报 表 。 本 系统 中 水 晶 报 表 
(如 健康 预测 的 表示 图 等 ) 的 实现 是 通过 自 定义 方法 CrystalReport () 来 实现 的 。 


























8.4 测试 





面向 数字 家 庭 的 健康 保健 数据 库 系 统 涉及 数据 库 的 重要 设计 步骤 一 一 加 载 测 试 。 加 载 测 
试 工作 贯穿 于 整个 系统 测试 工作 的 全 过 程 ， 登 录 、 用 户 管理 、 家 人 健康 信息 管理 等 操作 均 可 
视 为 对 数据 库 的 加 载 测试 工作 。 要 设计 出 一 个 好 的 系统 数据 库 ， 除 满足 系统 所 要 求 的 功能 
外 ， 还 必须 遵守 下 列 原则 : 基本 表 的 个 数 越 少 越 好 ， 主 键 的 个 数 越 少 越 好 。 键 是 表 间 连接 的 
工具 ， 主 键 越 少 ， 表 间 的 连接 就 越 简单 。 字 段 的 个 数 越 少 越 好 。 所 有 基本 表 的 设计 均 应 尽量 
符合 第 三 范式 。 数 据 库 的 设计 中 ， 如 何 处 理 多 对 多 的 关系 和 如 何 设 计 主 键 ， 是 两 个 有 着 较 大 
难度 、 需 要 重点 考虑 的 问题 。 

此 外 ， 在 编写 代码 的 过 程 中 我 们 也 遇 到 了 很 多 问题 ， 如 经 常会 碰 到 “未 将 对 象 引 用 应 
用 到 对 象 的 实例 ”有 些 情况 是 未 给 对 和 象 赋值 。 大 多 数 情 况 下 ,一行 一 行 看 已 编写 好 的 代码 
很 难 找 出 错误 。 如 果 用 调试 的 话 ， 会 很 快 解决 错误 。 比 如 : 在 使 用 动态 控件 时 如 果 页 面 回执 
且 未 在 pageload 中 加 载 生成 控件 的 过 程 ， 则 在 返回 的 页 面 上 未 加 载 动态 控件 ， 这 个 时 候 去 看 
代码 是 很 不 容易 发 现 错误 的 ， 然 而 用 调试 的 话 会 很 快 解决 这 个 问题 。 所 以 在 写 代码 的 过 程 中 
使 用 调试 会 起 到 事半功倍 的 作用 。 

由 于 本 身 能 力 的 局 限 性 ， 所 以 编写 的 代码 ， 即 使 经 过 反复 检查 也 难免 出 错 。 所 以 在 本 阶 
段 力求 使 用 有 限 的 时 间 找 出 尽 可 能 多 的 错误 ， 力 求 系统 尽量 正确 。 在 本 系统 的 测试 中 ,使 用 
了 黑 盒 法 〈 即 不 关心 程序 内 部 的 逻辑 结构 ， 而 是 根据 程序 的 功能 来 设计 来 检测 ) 请 一 位 不 
熟悉 本 系统 的 人 来 进行 随意 性 的 操作 ， 打 破 习惯 的 操作 顺序 ， 从 中 发 现 错误 ， 在 此 阶段 系统 
的 大 量 错误 得 到 了 改正 。 

在 开发 调试 过 程 中 的 主要 模块 : 

(1) 数据 库 连 接 模块 

将 数据 库 连 接 的 程序 独立 出 来 ， 成 为 一 个 单独 的 模块 ， 其 他 程序 者 要 连接 数据 库 ， 直 接 
调用 此 模块 即 可 ， 不 仅 大 大 减轻 了 开发 者 的 编码 劳动 量 ， 而 且 大 大 提高 了 代码 的 可 读 性 和 开 
发 效率 。 

(2) session 保密 传输 
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在 数据 的 传输 过 程 中 ， 开 发 者 往往 采用 隐藏 域 进行 ， 但 隐藏 域 的 安全 性 不 是 很 好 ， 经 党 
被 人 窃取 ， 但 session 在 传输 过 程 中 没有 此 缺点 ， 它 可 以 安全 地 传输 数据 。session 的 采用 ， 
大 大 提高 了 系统 的 安全 性 。 

(3) 异常 处 理 

所 有 异常 类 都 继承 C# 内 建 的 位 于 System 名 字 空 间 的 Exception 异常 类 。 本 程序 中 采用 
ay 、catch 来 管理 C# 异 常 处 理 ， 用 这 些 关键 字 组 成 一 个 相互 关联 的 子 系统 ， 把 要 监视 异常 的 
程序 语句 包含 在 一 个 try 块 中 ， 如 果 try 块 出 现 异常 ， 此 异常 就 会 被 抛 出 。 使 用 cateh 块 就 可 
以 捕获 到 此 异常 ， 并 可 以 合理 地 处 理 异 常 。C# 运 行 系统 会 自动 抛 出 系统 产生 的 异常 。 它 以 
可 控 的 结构 化 方式 来 处 理 运行 期 错误 。 其 简单 、 直 接 的 实现 方法 大 幅 提高 了 运行 效率 。 

到 此 ， 一 个 完整 的 家 庭 健康 管理 系统 就 创建 完毕 了 。 本 例 中 介绍 了 系统 的 整体 设计 ， 明 
确 了 系统 应 具备 的 功能 及 其 权限 分 配 ， 明 确 了 搭建 系统 的 业务 流程 分 析 ， 明 确 了 系统 的 功能 
结构 及 系统 的 应 用 界面 设计 结构 。 然 后 ， 根 据 系统 的 需求 详细 设计 系统 ， 其 中 包括 系统 数据 
库 的 设计 。 而 后 对 整体 的 主要 功能 模块 进行 了 设计 。 最 后 ， 总 结 了 开发 过 程 中 所 应 用 的 关键 
技术 。 整 体 思路 使 得 健康 保健 数据 库 系统 的 脉络 清晰 明了 。 
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“智能 需要 知识 ”一 一 这 是 人 们 对 人 工 智能 早期 没有 走出 象牙 塔 反思 后 作出 的 结论 。 习 
实 上 ， 作 为 智能 的 基础 ， 知 识 是 不 可 或 缺 的 。 在 情感 机 器 人 的 设计 中 ， 要 保证 情感 机 器 人 具 
有 智能 ， 就 需要 情感 机 器 人 有 知识 。 何 为 知识 ?如 何 使 得 情感 机 器 人 表现 出 具有 知识 的 能 
呢 ? 我 们 了 解 到 数据 库 是 用 来 对 数据 进行 存储 、 查 询 、 修 改 等 操作 的 ， 那 么 对 于 存储 在 情感 
机 器 人 内 部 的 知识 来 讲 ， 同 样 也 需要 一 个 知识 库 来 对 知识 进行 操作 ， 而 知识 库 与 数据 库 的 区 
别 又 是 什么 呢 ? 本 章 就 以 人 与 情感 机 器 人 交互 为 背景 ， 围 绕 这 些 问题 进行 讨论 。 


9.1 知识 库 














9.1.1 知识 库 的 概念 


首先 先 介 绍 一 下 什么 是 知识 库 ? 从 存储 知识 的 角度 来 看 ， 以 描述 型 方法 来 存 迪 和 管理 知 
识 的 机 构 叫 做 知识 库 。 知 识 库 是 事实 、 规 则 和 概念 的 集合 。 事 实在 库 中 是 短期 信息 ， 这 种 信 
息 在 与 用 户 交 互 过 程 中 会 迅速 改变 。 规 则 是 从 专家 们 的 经 验 中 总 结 出 来 的 知识 ， 是 长 期 信 
息 。 概 念 包含 信念 和 常识 。 

如 果 一 个 系统 具有 能 用 计算 机 所 存储 的 知识 对 输入 的 数据 进行 解释 ， 并 有 对 其 进行 验证 
的 功能 ， 则 称 该 系统 为 知识 库 系统 。 

按照 以 上 定义 ， 知 识 库 系统 中 的 知识 ， 是 该 系统 在 自身 进行 推理 过 程 中 所 利用 的 信息 ， 
而 不 是 提供 给 系统 使 用 者 的 信息 。 因 此 ， 知 识 库 系统 与 数据 库 系统 不 同 之 处 就 在 于 ， 它 并 非 
向 用 户 直接 提供 检索 的 信息 ， 而 是 提供 根据 输入 的 数据 信息 使 用 知识 进行 判断 分 析 的 结 

知识 库 是 数据 库 理论 研究 的 产物 。 数 据 库 技术 从 其 诞生 至 今 已 经 有 几 十 年 的 历史 ,数据 
库 技 术 与 网 络 、 人 工 智 能 、 软 件 工程 相 结 合 ， 形 成 新 的 发 展 方向 ， 其 中 人 工 智能 技术 和 数据 
库 技 术 相 结合 产生 了 知识 库 技术 。 正 像 Codd 所 说 : “数据 库 就 是 把 数据 从 应 用 程序 中 分 离 
出 来 ， 交 给 系统 程序 处 理 。” 知 识 库 类 似 地 把 知识 从 应 用 程序 中 分 离 出 来 ， 并 交 由 知识 系统 
程序 进行 处 理 。 数 据 库 和 知识 库 有 许多 相同 的 地 方 ， 它 们 都 研究 大 容量 信息 处 理 的 理论 和 时 
间 ; 两 者 都 具有 可 恢复 性 、 安 全 性 、 保 密 性 、 一 致 性 等 问题 ; 数据 库 的 大 部 分 管理 技术 对 知 
识 库 同 样 适用 。 但 它们 之 间 也 存在 一 些 明显 的 区 别 ， 可 以 列 出 以 下 几 点 : 

1) 数据 库 中 的 信息 是 历史 的 、 静 态 的 。 而 知识 库 中 的 信息 则 既 有 过 去 的 又 有 现在 的 ， 
相 比 之 下 ， 知 识 库 中 的 信息 更 多 是 动态 的 ， 其 中 的 规则 部 分 总 是 在 力图 填充 缺少 的 信息 。 

2) 数据 库 主 要 处 理 数 据 ， 数 据 的 含义 是 确定 的 ， 知 识 库 主 要 处 理 知识 ， 而 总 是 包含 大 
量 会 义 不 明确 的 概念 和 不 确定 的 联系 。 

3) 数据 库 对 数据 的 处 理 主要 依靠 数据 操作 语言 ， 这 种 是 确定 的 。 知 识 库 对 知识 的 处 
理 ， 主 要 依赖 推理 方式 ， 使 用 逻辑 程序 设计 语言 ， 这 种 语言 是 不 确定 的 。 

4) 数据 库 同 外 界 的 联系 通过 数据 通信 子 系统 ， 但 知识 库 则 通过 包含 在 其 内 部 的 智能 接 
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口 来 实现 与 外 部 通信 。 
9.1.2 知识 的 概念 


了 解 了 知识 库 的 概念 ， 那 么 什么 是 知识 呢 ? 我们 从 知识 与 数据 、 符 号 、 信 息 的 区 别 与 联 
系 上 解释 一 下 知识 的 内 涵 。 

数据 是 对 事实 的 一 种 表达 形式 ， 它 包括 数字 、 文 字 和 图 形 。 符 号 是 一 种 复杂 的 数据 类 
型 ， 在 符号 中 除了 包含 常规 的 数据 内 容 外 ， 还 包含 思想 、 概 念 每 人 类 知识 。 数 据 与 符号 都 可 
以 用 人 工 或 自动 化 装置 进行 处 理 。 凡 是 对 人 有 用 的 ， 能 够 影响 人 们 行为 的 数据 和 符号 称 为 信 
息 ， 信 息 是 通过 对 数据 或 符号 的 处 理 而 产生 的 。 知 识 是 人 类 对 客观 世界 的 认识 ， 是 人 们 在 生 
活 、 劳 动 和 与 自然 界 作 生存 斗争 中 在 自然 、 物 质 的 认识 基础 上 ， 升 华 成 为 系统 的 信念 和 经 
验 。 例 如 38% 是 一 种 数据 ， 如 果 表 示 一 个 人 的 体温 的 话 ， 它 就 成 为 一 种 信息 。 对 于 医生 或 
者 稍 有 医学 常识 的 人 来 说 ， 这 个 人 正在 发 烧 ， 需 要 治疗 ， 此 信息 就 成 为 一 种 知识 。 符 号 、 数 
据 、 信 息 和 知识 形成 一 个 层次 ， 符 号 和 数据 在 底层 ， 知 识 在 最 上 面 ， 数 据 是 信息 的 载体 ， 信 
息 是 数据 所 表达 的 客观 事实 。 数 据 经 过 一 系列 ， 如 归纳 、 综 合 、 比 较 、 分 类 、 联 想 或 计算 等 
数据 处 理 过 程 成 为 信息 ， 以 使 人 们 容易 理解 数据 的 意义 。 在 数据 和 信息 之 上 的 是 知识 。 知 识 
是 人 们 通过 实践 认识 到 的 客观 世界 规律 性 的 东西 。 知 识 是 信息 经 过 加 工 治理 、 解 释 、 挑 选 和 
改造 而 成 的 ， 是 人 们 进行 决策 的 基础 。 数 据 是 资源 ， 数 据 处 理 的 可 计算 化 将 有 助 于 提高 数据 
资源 的 利用 率 和 获得 高 质量 的 信息 。 知 识 是 一 种 更 宝贵 的 资源 ， 知 识 的 推广 和 使 用 可 以 产生 
巨大 的 经 济 效益 。 因 此 ， 保 存 和 推广 知识 是 一 项 非常 有 意义 的 工作 。 传 统 的 知识 转移 通过 学 
习 和 传授 来 实现 ， 通 常 需要 较 长 的 时 间 周 期 。 把 知识 形式 化 并 存 和 人 计算 机 中 ， 知 识 的 转移 变 
得 简单 易 行 ， 缩 短 时 间 周 期 ， 并 为 更 多 的 人 所 用 ， 使 知识 能 为 人 类 的 文明 发 挥 更 大 的 作用 。 


9.1.3 知识 的 分 类 


在 人 工 智能 系统 中 ， 知 识 分 为 以 下 几 类 : 事实 、 规 则 、 元 知识 、 常 识 性 知识 ， 如 图 9-1 
所 示 。 了 解 知识 的 分 类 是 建立 一 个 完整 的 情感 机 器 人 知识 库 所 必需 的 。 


人 工 智能 系统 


事实 : 关于 对 象 和 物体 的 知识 ; 静态 的 、 为 人 们 
共享 的 、 可 公开 获得 的 、 公 认 的 知识 ; 属于 底层 
知识 



































规则 : 有 关 问 题 中 与 实务 的 行动 、 动 作 相 联系 的 
因果 关系 的 知识 ; 动态 的 知识 ; 常 以 “如 果 …… 
Ce ”的 形式 出 现 







元 知识 : 有 关 知 识 的 知识 ， 是 知识 库 中 的 高 层 知 
识 ; 包括 怎样 使 用 规则 、 解 释 规则 、 校 验 规则 、 
解释 程序 结构 等 知识 















常识 性 知识 : 普遍 存在 而 且 被 普遍 认识 了 的 客观 
事实 类 知识 ; 让 你 们 共有 的 知识 












到 9-1 ”人工 智能 系统 中 知识 的 分 类 
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知识 库 中 的 知识 ， 按 其 在 智能 程序 求解 过 程 中 的 作用 ， 通 常 可 分 为 四 类 : 事实 知识 、 规 


则 知识 、 控 制 知 识 、 元 知识 ， 如 图 9-2 所 示 。 


知识 库 系 统 


事实 
以 “ 

















控制 知识 : 









知识 : 有 关 问 题 环境 的 一 些 事实 的 知识 ; 常 
se 是 ……” 的 形式 出 现 ， 如 事物 的 分 类 、 
属性 、 事 物 间 的 关系 等 ， 属 于 底层 知识 


规则 知识 : 有 关 问 题 中 与 事物 的 行动 或 动作 相关 
联 的 因果 关系 的 知识 ; 动态 的 ; 常 以 “如 果 …… 
Te ”的 形式 出 现 


有 关 问 题 的 求解 步骤 、 技 巧 性 知识 ， 
和 舍 诉 怎 么 做 一 件 事 ， 也 包括 当 多 个 动作 同时 被 激 
活 时 应 选用 哪个 动作 来 执行 的 知识 


元 知识 : 有 关 知 识 的 知识 ， 属 于 高 层 知识 ; 包括 
如 何 使 用 规则 、 解 释 规则 、 校 验 规则 、 解 释 程 序 
结构 等 知识 ,有 时 与 控制 知识 是 有 重合 的 
















图 9-2 ”知识 库 系统 中 知识 的 分 类 





9.1.4 知识 的 存在 与 获取 





了 解 了 知识 的 分 类 方式 ， 还 需要 讨论 一 下 知识 的 存在 方式 ， 见 表 9-1。 
表 9-1 知识 的 存在 方式 
































编号 知识 的 存在 方式 
1 专家 的 头脑 中 ， 如 经 验 等 

2 隐藏 在 数据 库 中 的 模式 

3 各 种 案例 (成 功 的 、 失 败 的 ) 

4 文档 资料 ， 如 书籍 、 论 文 等 各 种 文献 ， 以 及 万 维 网 等 
5 人 工 智能 中 的 规则 、 框 架 、 谓 词 等 





对 于 知识 存在 的 各 种 方式 ， 我 们 可 以 有 相应 的 方法 来 获取 知识 。 这 就 引入 了 知识 获取 的 


概念 。 


知识 获取 包括 将 已 获取 的 知识 ， 通 过 茶 种 推理 或 学 习 机 制 产 生 新 的 知识 ， 即 机 器 学 习 
(Machine Learning) ， 以 及 对 已 有 知识 的 精炼 和 一 致 性 检测 等 ， 即 所 谓 的 知识 求 精 (Knowl- 


edge Refinement ) 。 


知识 获取 的 任务 主要 包括 以 下 几 个 方面 : 





1) 从 领域 专家 或 书本 上 获取 知识 ， 并 对 甚 理解、 选择 、 分 析 、 抽 取 、 总 结 和 组 织 拉 


2) 对 已 有 的 知识 进行 求 精 ; 











3) 从 已 有 的 知识 中 通过 学 习 产 生 新 的 知识 ， 如 采用 推理 方法 等 ， 包 括 从 外 界 学 习 新 知 


4) 检测 并 消除 已 有 知识 的 矛盾 性 和 宛 余 性 ， 保 持 已 有 知识 的 一 致 性 和 完整 性 约束 等 。 
一 般 来 说 ， 知 识 获 取 有 三 种 方式 : 人 工 获取 、 半 自动 获取 和 自动 获取 。 所 谓 的 人 工 获取 
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就 是 依靠 知识 工程 师 与 专家 的 交流 ， 观 察 专家 的 工作 方式 等 来 获取 知识 ; 而 自动 获取 是 基本 
上 不 需要 人 们 的 参与 ， 如 采用 机 器 学 习 等 相关 的 技术 ; 半自动 获取 是 知识 工作 者 或 知识 工程 
师 在 软件 工具 的 辅助 下 获取 知识 ， 这 是 目前 研究 中 应 用 最 多 的 一 种 知识 获取 方式 ， 主 要 是 从 
数据 库 和 文本 中 获取 。 从 数据 库 中 获取 知识 ， 实 际 上 就 是 采用 机 器 学 习 算 法 来 进行 的 ， 这 些 
算法 在 数据 挖掘 中 得 到 了 较 多 的 应 用 。 如 遗传 算法 、 神 经 网 络 和 决策 树 、 粗 糙 集 理论 和 模糊 
聚 类 等 。 


9.1.5 知识 的 表示 方法 


知识 表示 是 研究 在 计算 机 中 如 何 使 用 最 合适 的 形式 对 系统 中 所 需要 的 各 种 知识 进行 组 
织 , 一 个 好 的 知识 表示 方法 应 该 具备 以 下 性 质 : 

1) 表达 充分 性 : 具备 确切 表达 有 关 领 域 中 各 种 知识 的 能 

2) 推理 有 效 性 : 能 够 与 高 效率 的 推理 机 制 密切 结合 ， 支 持 系统 的 控制 策略 。 

3) 操作 维护 性 : 便于 实现 模块 化 和 检测 出 矛盾 知识 及 元 余 知识 ,便于 知识 的 更 新 和 知 
识 库 的 维护 。 

4) 理解 透明 性 : 知识 的 表示 必须 便于 人 们 的 理解 。 

目前 人 工 智 能 领域 中 比较 热门 的 知识 表示 方法 主要 有 过 程 表示 法 、 逮 辑 表示 法 、 产 生 式 
表示 法 、 语 义 网 络 表示 法 、 框 架 和 脚本 、 面 向 对 象 表示 法 、 人 工 神经 网 络 中 的 隐 性 知识 等 。 
现在 ， 随 着 问题 领域 的 扩大 和 问题 复杂 度 的 提高 ， 单 一 的 使 用 一 种 知识 表示 方法 往往 不 能 起 
到 很 好 的 效果 ， 因 此 近 些 年 来 复合 型 的 知识 表示 方法 越 来 越 多 的 应 用 到 人 工 智能 领域 ， 尤 其 
是 专家 系统 领域 。 表 9-2 列 出 了 目前 较 热 门 的 集中 知识 表示 方法 的 优 缺 点 ， 在 各 个 背景 下 ， 
可 以 采取 与 实际 情况 相应 的 知识 表示 方法 构建 知识 库 。 

表 9-2 知识 的 表示 方法 


类 型 优 点 缺 ”点 












































辐 





效率 高 ， 用 于 表示 过 程 性 知识 ， 可 以 避免 选择 和 
配 无 关 的 知识 ， 也 不 需要 跟踪 不 必要 的 路 径 

过 程 表示 法 控制 系统 容易 设计 

易于 知识 表示 的 模块 化 和 参数 化 ， 特 别 是 求解 某 些 
关于 数值 运算 的 问题 


不 善于 表示 非 过程 性 知识 
不 易 修改 添加 新 知识 























由 于 缺乏 组 织 原 则 ， 使 得 知识 库 难 


于 管理 
_ 符号 简单 ， 有 严格 的 形式 定义 
旭 辑 表示 法 a 1 于 是 弱 证 明 过 程 ， 当 事实 的 数目 
描述 易于 理解 ， 容 易 实现 RR 
增 大 时 ， 可 能 会 产生 组 合 爆炸 


表示 内 容 与 推理 过 程 分 离 


















































ee 在 大 系统 中 规则 难以 保持 不 重复 
i 对 规则 之 间 相 互 作用 的 限制 可 能 导 
模块 化 ， 可 以 提供 高 精度 的 信息 事实 和 规则 ) 
产生 式 表 示 法 en 致 降低 执行 效率 
易于 表示 启发 性 知识 
en a 需要 解决 一 致 性 和 完整 性 的 问题 ， 
ee 区 缺乏 形式 化 描述 能 力 
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( 续 ) 
类 型 优点 缺点 
把 各 个 事物 有 机 的 联系 起 来 ， 能 比较 正确 地 反映 人 | ”所 表示 的 知识 都 是 关系 知识 ， 对 于 
类 对 客观 事物 本 质 的 认识 ， 表 达 层 次 关系 能 力 很 强 。。 | 更 高 层 的 知识 ， 如 具有 时 间 因素 的 知 
可 以 方便 地 追溯 关系 ， 能 简单 准确 地 表示 出 重要 的 | 识 、 意 念 等 ， 实 现 比较 复杂 
语义 网 络 表示 法 | 联系 通过 对 网 络 进行 操作 得 到 的 推理 并 
能 再 在 网 络 层 中 建立 特性 继承 关系 非 都 能 有 效 
直观 清晰 ， 便 于 理解 ， 并 适用 于 不 确定 性 推理 需要 强 有 力 的 组 织 原则 指导 搜索 ， 
4 有 联想 性 否则 将 陷 人 无 穷 支 路 
在 一 定 程度 上 正确 地 表现 了 人 的 心理 情况 
容易 归纳 新 情况 
它 适用 于 计算 机 处 理 ， 表 达能 力 强 ， 容 易 添加 情形 ee 
框架 和 脚本 六 有 继承 性 和 结构 性 
3 E 
以 一 种 集中 注意 力 并 且 易于 回顾 、 推 理 的 方法 组 织 
以 一 种 集中 注意 力 并 且 易于 回顾 、 扒 理 的 方法 组 织 | 。 不 便于 扒 划 
知识 
模块 性 ， 一 个 对 象 是 可 以 独立 存在 的 实体 
继承 性 ， 子 类 可 继承 父 类 的 数据 和 操作 使 用 面向 对 象 方法 开发 的 系统 占用 
封装 性 ， 对 象 是 封装 的 数据 和 操作 硬件 空间 较 大 ， 运 行 时 间 开销 也 大 
面向 对 象 表示 法 。 | ”多 态 性 ， 使 得 软件 设计 便于 抽象 化 ， 增 强 了 系统 的 | ”解决 的 是 规模 较 大 、 问 题 领域 较 复 
智能 型 杂 的 课题 ， 因 此 对 软件 编制 人 员 和 系 
易 维护 性 ， 对 象 实现 了 抽象 和 封装 ， 使 得 错误 具有 | 统 分 析 人 员 的 素质 有 较 高 的 要 求 
局 限 性 ， 不 会 传播 ， 便 于 检测 和 修改 
Re 以 分 布 方式 表示 信息 ， 便 于 知识 库 的 组 织 和 管理 对 于 给 定 的 输入 ， 用 户 只 能 得 到 一 
i 便于 实现 知识 的 自动 获取 ， 能 够 自 适应 环境 的 变化 | 个 结果 ， 不 清楚 推理 过 程 ， 因 此 解释 
Gi 实现 了 知识 表示 、 存 储 和 推理 三 者 融 为 一 体 的 表示 | 较 难 


9.2 ”虚拟 管家 知识 库 实例 


本 章 以 情感 机 器 人 与 人 和 谐 交 互 为 背景 来 研究 知识 。 我 们 以 虚拟 管家 为 例 来 介绍 。 前 面 
我 们 介绍 了 知识 的 概念 、 分 类 、 存 在 、 获 取 和 表示 方法 ， 下 面 我 们 就 来 演示 一 下 在 虚拟 管家 
中 ， 怎 样 才能 利用 知识 表示 出 情感 的 因素 。 在 语音 交互 中 ， 我 们 基于 文本 知识 库 进 行 研究 ， 
萌 鉴 问答 系统 的 形式 ， 实 现 了 基于 文本 知识 库 的 问答 式 人 机 语音 交互 功能 。 








9.2.1 研究 意 》 


以 前 我 们 实现 的 人 机 语音 交互 是 基于 全 匹配 的 ， 例 如 ， 当 用 户 询问 虚拟 管家 : “宝贝 
年 多 大 啦 ?” 通 过 语音 识别 出 “宝贝 今年 多 大 啦 ”， 然 后 在 数据 信息 表 中 进行 匹配 ， 得 
“三 岁 半 ”的 回答 。 整 个 过 程 基 本 上 就 是 简单 的 数据 库 查 表 ， 冷 冰冰 的 回答 只 能 得 到 一 定 
言 息 ， 只 是 在 和 机 器 人 对 话 ， 根 本 无 法 通过 图 灵 测 试 。 

所 谓 基于 文本 知识 库 的 问答 式 人 机 语音 交互 ， 是 在 语音 识别 的 基础 上 ， 对 识别 文本 进行 
句法 分 析 ， 并 将 数据 库 中 的 数据 表 进 行 层次 提升 ， 按 照 一 定 的 规则 结构 形成 简单 的 知识 库 。 
例如 : 用 户 还 是 询问 虚拟 管家 :“ 宝 贝 今年 多 大 啦 ?” 通 过 语音 识别 出 “宝贝 今年 多 大 啦 ”， 
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然后 先进 行 句 法 分 析 ， 得 出 一 些 相关 信息 ， 如 : 主题 是 “询问 数量 "， 对 象 是 “宝贝 "， 内 
容 是 “多 大 ”。 最 后 根据 分 析出 的 信息 ， 查 找 知 识 库 ， 得 到 答案 。 

显然 基于 文本 知识 库 的 问答 式 人 机 语音 交互 更 加 智能 、 灵 活 ， 对 数据 库 的 依赖 程度 小 ， 
抛弃 了 完全 匹配 的 不 利 因素 ， 不 仅 更 加 符合 人 机 交互 的 原则 ， 也 使 得 人 与 虚拟 的 情感 机 器 人 
交流 时 更 加 流畅 ， 更 加 人 性 化 。 下 面 就 对 基于 文本 知识 库 的 问答 式 人 机 语音 交互 进行 详细 的 


介绍 。 


9.2.2 功能 的 实现 


1. 词法 分 析 

词法 分 析 的 过 程 就 是 将 连贯 的 自然 语言 分 解 成 一 个 个 义 元 组 成 的 义 元 串 ， 并 且 为 每 个 义 
元 标注 它 的 属性 ， 义 元 可 以 是 词语 、 单 字 或 者 短语 。 要 完成 这 样 的 过 程 需要 一 个 十 分 大 的 语 
料 库 ， 如 各 类 词典 、 处 理 歧义 的 规则 库 、 词 性 标注 的 规则 库 和 短语 识别 的 规则 库 。 具 体 来 说 
由 上 自动 分 词 和 词性 标注 两 部 分 组 成 。 

自动 分 词 技术 比较 成 熟 ， 到 目前 为 止 共 有 十 多 种 方法 ， 如 最 大 匹配 法 、 逆 向 最 大 匹配 
法 、 逐 词 遍历 匹配 法 、 联 想 一 回溯 法 等 等 。 在 中 文 词法 分 析 方面 ， 由 中 科 院 计算 所 张 华 平 、 
刘 群 带领 的 团队 研究 所 开发 的 ICTCLAS (Institute of Computing Technology ，Chinese Lexical 
Analysis System) 系统 具有 较 高 的 分 词 准 确 率 ， 该 系统 采用 的 是 多 层 隐 马尔 可 夫 模 型 ， 对 原 
有 的 隐 马 模型 进行 扩展 ， 将 模型 分 别 应 用 到 原子 切 分 、 简 单 和 复杂 的 未 登录 词 识 别 及 基于 类 
的 隐 马 尔 可 夫 分 词 等 多 个 层面 上 。ICTCLAS 由 C ++ 语 言 实现 ， 提 供 了 JAVA 、Delphi 等 接 
口 ， 方 便 其 他 应 用 程序 进行 调用 。 本 功能 模块 的 词法 分 析 采 用 ICTCLAS 自动 分 词 和 词性 标 
注 程 序 。 

2. 确定 问 句 类 型 
确定 问 句 的 类 型 即 进行 问题 分 类 ， 也 就 是 根据 问 句 的 内 容 确 定 问 句 的 语义 类 别 。 问 题 分 
类 主要 有 两 大 作用 : 

问题 分 类 可 以 大 大 化 简 候选 答案 的 集合 。 例 如 当 问 名 是 “北京 科技 大 学 在 哪里 ?” 通 过 
分 类 可 以 知道 这 是 一 个 询问 地 点 的 问 句 ， 就 可 以 将 不 是 关于 “地 点 ”的 答案 过 滤 掉 。 

问题 分 类 还 可 以 为 答案 抽取 提供 抽取 策略 。 

根据 数字 家 庭 环境 中 虚拟 管家 的 日 常生 活 对 话 ， 我 们 将 为 问题 分 为 6 种 ， 见 表 9-3。 

表 9-3 六 种 对 话 情景 















































































































































问 句 类 型 疑 问 词 例 名 
询问 人 谁 是 谁 发 明了 计算 机 
询问 时 间 什么 时 候 / 何 时 / 哪 年 …… 今天 妈妈 什么 时 候 下 班 
询问 数量 多 少 / 儿 /多 大 /多 高 …… 宝贝 今年 多 大 啦 
询问 定义 是 什么 /什么 是 咱 么 是 宇宙 
询问 地 点 或 位 置 哪里 /什么 地 方 北京 科技 大 学 在 哪里 
询问 原因 为 什么 天 空 为 什么 是 蓝 色 的 














3. 针对 问 负 类 型 生成 句 模 
为 了 避免 复杂 、 重 复 的 词法 分 析 、 句 法 分 析 和 语义 分 析 ， 将 上 述 6 种 问 句 类 型 生成 一 定 
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的 句子 模型 ， 并 按照 存储 的 方式 放 在 数据 表 中 ， 供 匹配 之 用 。 如 询问 人 的 一 个 句 模 为 rvn， 
其 中 + 表示 询问 人 是 的 疑问 词 ,，v 表示 动词 ，n 表示 名 词 。 当 询问 “ 谁 发 明了 计算 机 ” 则 与 
该 句 模 匹配 ， 直 接 在 询问 人 的 答案 表 中 查找 与 动词 “发 明 ” 和 名 词 “ 计 算 机 ”两 者 有 关 的 
名 词 并 作为 结果 。 

4. 关键 词 提取 

在 提取 关键 词 之 前 首先 进行 预 处 理 ， 即 去 除 停 用 语 与 客 套 语 ， 去 除 一 些 不 必要 的 语气 词 
等 。 

对 于 基于 关键 词 的 问 句 处 理 方法 来 说 关键 词 代表 了 问 句 的 主要 含义 ， 提 取 关 键 词 对 理解 
问 句 语义 至 关 重 要 。 一 般 来 说 名 词 、 动 词 、 形 容 词 、 限 定性 副词 在 问 句 中 充当 关键 词 的 几率 
较 大 ， 但 在 实际 应 用 中 可 以 把 除了 疑问 词 以 外 的 大 部 分 词语 作为 关键 词 。 关 键 词 按照 词性 的 
不 同 在 检索 时 被 赋予 不 同 的 权重 ， 权 重 从 大 到 小 依次 为 名 词 、 限 定性 副词 、 形 容 词 、 动 词 。 

5. 句 模 匹 配 

将 处 理 后 的 问 句 与 句 模 进 行 比 较 ， 根 据 匹配 到 的 句 模 信息 在 结构 知识 库 中 得 到 答案 。 


9.2.3 功能 的 实例 


1. 询问 人 (关键 词 : 谁 ) 

询问 人 的 问 句 类 型 我 们 共 建 立 了 三 个 句 模 匹 配 规则 : 
规则 1: nvr ” 例 : 贺 杰 是 谁 呀 ? 

规则 2: rm ” 例 : 是 谁 发 明了 计算 机 ? 

规则 3 : rv 例 : 家 里 周末 谁 做 饭 呀 ? 






































图 9-3 所 示 为 “nvr” 句 模 匹 配 规则 的 例子 ， 在 此 种 句 模 规 则 下 ， 我 们 还 能 询问 虚拟 管 
家 “知道 刘翔 是 谁 吗 ?”， 如 图 9-4 所 示 。 
2 国 国 加 


税 洒 是 谁 时 [A 1- 确 定 问题 类 型 | 
各 /nm 未 站 是 /vw 堆 /x 时 jy 全 加 2- 词 法 分 析 | 








图 9-3 询问 人 “nvr” 规 则 
2. 询问 时 间 (关键 词 : 什么 时 候 、 哪 年 ) 

询问 时 间 的 问 句 类 型 我 们 共 建 立 了 四 个 句 模 匹 配 规则 : 
规则 1: nrnv 例 : 今天 妈妈 什么 时 候 下 班 ? 

规则 2: nrnvn 例 : 妈妈 什么 时 候 去 日 本 出 差 ? 
规则 3: nrqv 例 : 爷爷 哪 年 退休 的 ? 

规则 4: nrqvn 例 : 叔叔 哪 年 去 的 美国 ? 
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ee 有 _ -确定 问题 类 型 | 
知道 产 ” 刘 丘 鑫 Wn 是/ 谁 库 吗 厅 全 2_ 词 法 部 析 | 


在 雅典 奥运 会 上 以 12 和 91 六 | 
<- 副 匹 过 保持 的 世界 纪录 。 一 
| 守 得 的 第 一 校 田 径 金 





图 9-4 询问 人 一 一 “nvr” 规 则 


图 9-5 所 示 为 询问 时 间 一 一 “nrnv” 规 则 的 例子 。 
J 六 下 条 识 库 的 问 千 式 汉 机 语 训 交配 外 拒 下 


i [6 避 “”。 _!- 确 定 问题 类 型 | 


今天 /+t 到 间 fn， 秆 各 /fr 有 时候 /nm 下班/ 全/ 2-_ 词 法 分析 | 





图 9-5 询问 时 间 一 一 “nrnv” 规 则 


图 9-6 所 示 为 询问 时 间 一 一 “nrqvn” 规 则 的 例子 。 
二 基于 总 于 苛 衣 库 的 癌 芝 二 基于 玫 区 于 本 正 国 回 图 


本 1- 洒 问 时 间 !- 确 定 问题 类 型 | 
下 椒 /n 哪 年 /a 去 /vw 的 /im 美国 /mn ?jw 2_ 词 法 分 析 | 





图 9-6 询问 时 间 一 一 “nrqvn” 规 则 


3. 询问 数量 (关键 词 : 多 大 、 多 高 ) 

询问 数量 的 问 句 类 型 我 们 只 示例 了 一 种 规则 ， 即 规则 1: 
规则 1: nma 例 : 宝贝 今年 多 大 啦 ? 

图 9-7 所 示 为 询问 数量 一 一 “nma” 规 则 的 例子 。 
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sr EET Ex) 
Bs 本 量 ”。。。 _1- 确 定 问题 类 型 | 
宇内 /rn， 今年 /+t 变 而 太 /a 蹄 /人 元 词法 苇 析 | 


和 





图 9-7 询问 数量 





“nma” 规 则 


4. 询问 定义 (关键 词 : 什么 是 、 是 什么 、 什 么 叫 ) 

询问 定义 的 问 句 类 型 我 们 示例 了 两 种 规则 ， 

规则 1: nar 例 : 三 角形 是 什么 ? 

规则 2: rm ， 例 : 什么 是 / 叫 三 角形 ? 

图 9-8 所 示 为 询问 定义 一 一 规则 “rvn” 时 的 示例 。 
4+- 于 总 本 知识 库 的 问答 贡 兴 机 后方 况 生 二 能 接 堪 


FS 二 对 - 确 定 问题 类 型 | 





图 9-8 询问 定义 一 一 “rn” 规 则 


5. 询问 地 点 (关键 词 : 哪里 、 什 么 地 方 ) 

询问 定义 的 问 句 类 型 我 们 示例 了 两 种 规则 ， 

规则 1: mr 例 : 天 安 门 在 哪里 ? 

规则 2: nrn ” 例 : 颐和园 是 什么 地 方 ? 

图 9-9 所 示 为 询问 地 点 一 一 规则 “nrm” 时 的 示例 。 
6. 询问 原因 (关键 词 : 为 什么 ) 

询问 定义 的 问 句 类 型 我 们 示例 了 两 种 规则 ， 

规则 1: npm ” 例 : 天 空 为 什么 是 蓝 色 的 ? 

规则 2: npra 例 : 天 为 什么 是 蓝 的 ? 

图 9-10 所 示 为 询问 定义 一 一 规则 “npm” 时 的 示例 。 
日 常生 活 中 我 们 询问 时 的 类 型 还 有 很 多 ， 规 则 也 还 有 很 多 ， 当 然 内 容 也 是 多 种 多 样 ， 但 
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是 基于 知识 库 中 数据 的 限制 ， 目 前 我 们 仅 实现 了 上 述 六 种 问 句 类 型 ,构建 知识 库 时 也 只 考虑 
了 现 有 的 句 模 规则 ， 但 是 研究 证 明 此 方法 是 可 行 的 ， 并且 有 它 的 优点 ， 如 果 要 做 的 更 全 面 需 
要 在 现 有 的 框架 基础 上 进行 句 模 规则 和 知识 库 数据 的 扩充 。 


人 [或 位 村 1- 确定 问题 类 型 | 





颐和园 科 是 /sw 慎 名 站 地 方向 全 加 2- 词 法 分 析 | 


和 营 叶 十 习 
内 团团 妖 地 
和 -十 涯 瑟 各 


型 证 ”四 团 











器 








9-9 询问 地 点 一 “nm” 规 则 





ns FSB 奈 因 ”+- 确 定 问题 类 型 | 


天 宝生 为 /P 慎 双 jr 是 /vw 蓝 色 壬 的 fu 全 2_ 记 法 仙 析 | 





图 9-10 询问 原因 一 一 “npm” 规 则 
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第 10 蔓 ”情感 模型 和 机 融 学 习 


情感 模型 在 情感 机 器 人 的 设计 中 起 着 举足轻重 的 作用 。 人 情感 模型 是 在 情绪 心理 学 理论 的 
基础 之 上 ， 定 义 描 述 情感 的 数学 空间 。 在 此 空间 中 ， 采 用 数学 理论 与 方法 ， 构 造 机 器 可 实现 
的 情感 计算 理论 与 方法 ， 使 之 能 够 模拟 人 类 的 情感 产生 、 变 化 、 转 移 过 程 ， 并 使 其 符合 人 类 
情感 变化 的 规律 ， 满 足 家 庭 环境 中 人 类 情感 的 需求 。 本 章 首 先 介绍 了 国内 外 关于 机 器 人 情感 
建 模 的 研究 现状 ， 以 及 经 典 的 情感 计算 模型 。 然 后 介绍 了 关于 情感 建 模 的 新 研究 ， 如 普 适 性 
研究 、 个 体 情 绪 差 异性 研究 、 实 用 性 研究 ， 最 后 ， 阐 述 了 基于 机 器 学 习 的 认 知 情感 模型 研 
多 。 


10.1 情感 模型 的 国内 外 研究 现状 分 析 


认 知 科学 及 其 信息 处 理 的 发 展 得 到 国际 科技 界 ， 尤 其 是 发 达 国 家 政府 的 高 度 重视 和 大 规 
模 支 持 。 认 知 科学 及 其 信息 处 理 方 面 的 研究 被 列 为 “国际 人 类 前 沿 科学 计划 ”的 三 大 部 分 
之 一 ， 其 中 ,“ 知 觉 与 认 知 ”被 列 为 人 类 前 沿 科学 的 12 大 焦点 问题 之 一 。21 世纪 初 ， 美 国 
国家 科学 基金 会 (NSF) 和 美国 商务 部 (DOC) 共同 资助 了 “提高 人 类 素质 的 聚合 技术 ” 
( Convergent Technology for Improving Human Performance ) ， 将 纳米 技术 、 生 物 技 术 、 信 息 技 
术 和 认 知 科学 纳入 21 世纪 四 大 前 沿 技术 ， 并 将 认 知 科学 视 为 最 优先 发 展 领域 。 

H A Simon 主张 认 知 科学 是 为 了 人 研究 了 解 智能 系统 (同时 包括 人 与 机 右 ) 和 智能 性 质 的 
学 科 。 他 在 《 认 知 科学 : 人 工 最 新 的 科学 》 一 文中 指出 :“ 直 到 最 近 ， 智 能 的 提 法 经 常 与 脑 
和 心理 联系 在 一 起 ， 特 别 与 人 的 心理 联系 在 一 起 。 但 是 ， 人 工 智能 和 人 类 思维 计算 机 模拟 研 
究 的 程序 ， 已 经 教会 我 们 怎样 建造 非 人 的 智能 系统 ， 以 及 如 何 从 人 脑 和 显示 智能 的 电子 箱 的 
硬件 中 抽取 智能 行为 的 必需 品 和 标志 。 

几 个 世纪 以 来 ， 认 知 与 情绪 之 间 的 关系 一 直 受 到 哲学 家 和 科学 家 的 关注 。 自 从 托马斯 
阿 奎 那 将 行为 研究 分 成 认 知 与 情绪 两 大 类 后 ， 关 于 两 者 关系 的 主流 观点 始终 认为 ， 认 知 和 情 
绪 是 分 离 的 系统 和 加 工 过 程 ， 彼 此 很 少 有 交互 作用 。 但 是 ， 近 20 年 来 ， 行 为 和 神经 科学 研 
究 发 现 ， 认 知 脑 与 情绪 脑 功能 的 特异 性 观念 存在 诸多 问题 。 因 此 ， 越 来 越 多 的 研究 者 开始 意 
识 到 ， 认 知 与 情绪 的 加 工 过 程 不 但 彼此 关联 ， 而 且 它 们 的 神经 机 制 还 存在 功能 整合 ， 共 同 构 
成 了 行为 活动 的 基础 。 近 期 ， 大 量 的 认 知 科学 和 神经 生物 学 研究 表明 ， 认 知 与 情绪 之 间 的 关 
系 并 非 彼此 分 离 ， 而 是 相互 依赖 、 紧 密 联 系 的 。 在 此 类 研究 证 据 基础 上 ， 研 究 者 们 逐渐 意识 
到 ， 有 必要 提出 一 个 全 新 的 概念 框架 来 描述 认 知 与 情绪 的 关系 。 

在 此 国际 研究 背景 下 ， 我 国 国家 自然 科学 基金 委员 会 于 2004 年 批准 实施 重点 项 目 “ 情 
感 计算 理论 与 方法 研究 ”， 将 计算 机 科学 与 认 知 心理 学 相 结合 ， 并 针对 情感 计算 理论 及 其 关 
键 技术 进行 深入 探讨 ， 以 推动 认 知 与 情绪 的 交互 作用 领域 的 研究 发 展 。 与 此 同时 ,情感 计算 
的 研究 也 进一步 被 世界 众多 实验 室 所 关注 ， 如 美国 MIT 多 媒体 实验 室 、 瑞 士 国 家 情感 计算 
研究 中 心 等 。 随 着 基础 理论 研究 的 不 断 深入 ,研究 者 们 越 来 越 多 地 致力 于 赋予 计算 机 感知 、 
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识别 和 响应 人 类 情绪 的 某 些 特定 方面 ， 并 开发 出 可 穿戴 的 计算 机 系统 ， 甚 至 在 研制 能 够 积极 
地 观察 和 能 够 表现 出 同情 和 移 情 的 机 器 人 。 

国家 中 长 期 科学 和 技术 发 展 规划 纲要 (2006 一 2020 年 )》 明确 指出 将 服务 机 器 人 作为 
未 来 发 展 的 战略 高 技术 ， 并 提出 “以 服务 机 器 人 应 用 需求 为 重点 ， 研 究 设计 方法 、 制 造 工 
艺 、 智 能 控制 盒 应 用 系统 集成 等 共性 基础 技术 ” 。 通 过 全 面 实施 国家 863 计划 、973 计划 、 
科技 支撑 计划 ， 安 排 部 署 了 一 批 服务 机 器 人 科技 项 目 ， 促 进 服务 机 器 人 在 公共 安全 、 助 老 助 
残 、 医 疗 康复 领域 的 应 用 发 展 ， 提 高 我 国 服务 机 器 人 研究 与 应 用 水 平 ， 为 和 谐 社 会 的 发 展 提 
供 有 力 支 撑 。 

意识 机 器 人 是 机 器 人 发 展 的 最 高 阶段 。 所 谓 意识 ， 是 指 人 对 外 部 世界 和 自身 心理 的 知觉 
或 体验 ， 它 不 但 包括 思维 活动 ， 还 包括 情绪 反应 。 因 此 ， 意 识 机 器 人 的 概念 不 仅仅 局 限于 具 
有 超 强 的 智能 ， 还 应 该 具有 细腻 的 情感 。 中 国 科学 院 计算 机 技术 研究 所 史上 忠 植 研究 员 指 出 : 
科学 表明 ， 情 感 是 智能 的 一 部 分 ， 不 能 与 智能 相 分 离 。 故 而 ， 服 务 机 器 人 领域 的 下 一 个 突破 
在 于 赋予 计算 机 情感 能 力 ， 换 而 言 之 ， 情 感 是 服务 机 器 人 必 备 的 功能 。 原 因 如 下 : 

1) 社会 需要 : 如 果 机 器 人 没有 情感 ， 那 么 它 的 应 用 领域 将 很 有 限 ， 除 了 干 体力 劳动 
外 ， 很 多 涉及 情感 交流 的 脑力 劳动 都 难以 胜任 。 

2) 情感 是 智能 的 基础 : 情感 能 力 是 人 类 智能 的 重要 标志 ， 是 人 类 智能 不 可 分 割 的 一 部 
分 ， 在 人 类 的 感知 、 推 理 、 决 策 、 计 划 、 创 造 等 诸多 活动 中 都 起 着 不 可 或 缺 的 作用 。 

人 工 智能 创始 人 之 一 ，1970 年 计算 机 图 灵 奖 (Turing Award， 公 认为 计算 机 领域 的 诺 由 
尔 奖 ) 获得 者 ， 美国 麻 省 理工 学 院 (MIT) Minsky 教授 在 “ 脑 智 社会 (The Society of 
Mind)” 专 著 (1985 年 ) 中 指出 “问题 不 在 于 智能 机 器 能 否 有 情感 ， 而 在 于 没有 情感 的 机 器 
能 否 实现 智能 (The question is not whether intelligent machines can have any emotions ，bnut 
whether machines can be intelligent without emotions. ) ”。 在 这 之 后 ， 有 关 赋 予 计算 机 情感 能 
的 探讨 引起 了 一 些 计算 机 科学 家 的 兴趣 。 有 关 这 方面 重要 的 研究 工作 反映 在 美国 MIT 媒体 
实验 室 R. Picard 教授 于 1997 年 出 版 的 专著 “Affective Computing (情感 计算 )”。 在 该 书 中 定 
义 “ 情 感 计算 是 关于 、 产 生 于 或 故意 影响 情感 方面 的 计算 (Computing that relates to，arises 
from, or deliberately influences emotions )” 。 

虽然 迄今 为 止 学 术 界 对 “情感 ”以 及 “情感 计算 ”的 定义 并 未 达成 共识 ,但 总 体 看 来 
可 以 认为 情感 计算 是 通过 赋予 计算 机 识别 、 理 解 、 表 达 和 适应 人 类 情感 的 能 力 ， 建 立 和 谐 人 
机 环境 ， 从 而 使 计算 机 具有 更 高 、 更 全 面 的 智能 。Norman 指出 ， 可 爱 的 事物 能 使 其 功能 得 
到 更 好 的 发 挥 ， 对 于 产品 的 成 功 ， 设 计 的 情感 因素 比 它 的 实用 因素 更 关键 。 随 着 有 关 认 知 和 
情绪 交互 作用 的 深入 细致 研究 ， 作 为 心智 的 两 个 部 分 ， 认 知 和 情绪 交互 之 间 的 关系 变 得 愈 发 
清晰 。 这 也 使 得 研究 人 员 将 较 多 的 注意 投入 到 如 何 创造 更 自然 、 友 好 的 人 机 交互 关系 上 。 这 
些 研 究 不 仅 进一步 深化 了 我 们 对 于 情绪 在 工作 和 生活 中 作用 的 理解 ， 也 将 有 助 于 人 研究 者 研发 
新 的 技术 及 相关 产品 ， 使 认 知 和 情感 因素 在 产品 中 达到 适当 的 平衡 ， 以 更 好 地 满足 人 们 的 需 

人 机 交互 技术 (Human Computer Interaction，HCI) 是 研究 人 、 计 算 机 以 及 它们 之 间 相 
互 关 系 的 技术 ， 是 人 与 计算 机 之 间 传 递交 换 信息 的 媒介 和 对 话 接口 。 以 人 为 中 心 、 自 然 高 效 
将 是 新 一 代 人 机 交互 的 主要 目标 。 当 前 ， 大 部 分 人 机 交互 技术 仅 局 限于 被 动 地 接受 用 户 的 指 
令 和 控制 ， 并 不 能 主动 地 理解 用 户 的 目的 或 意图 ， 也 无 法 推断 用 户 的 心理 状态 ， 较 为 缺乏 感 
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知 和 引导 的 能 力 。 如 是 计算 机 只 能 一 直 等 竺 用 户 的 输入 ， 尽 管用 户 当 前 已 经 离开 或 者 中 途 被 
打 断 去 做 其 他 事 。 当 用 户 对 某 项 任务 已 经 十 分 厌烦 ， 其 至 接近 崩 淡 边缘 时 ， 计 算 机 都 无 法 知 
晓 ， 仍 在 进行 不 停 的 运算 。 因 此 ， 要 想 使 计算 机 走 进 人 的 世界 ， 就 必须 赋予 计算 机 拥有 像 人 
一 样 的 认 知 情感 能 力 ， 能 够 根据 人 的 行为 举止 对 其 情绪 状态 进行 合理 推断 ， 理 解 人 的 行为 和 
意图 ， 从 而 保证 高 效 、 自 然 、 和 谐 的 人 机 交互 。 

随 着 人 工 智能 科学 的 飞速 发 展 ， 如 何 使 计算 机 能 够 识别 和 产生 人 类 的 情绪 ， 已 经 越 来 越 
多 地 受到 计算 机 科学 、 心 理学 等 学 科 的 关注 ,逐渐 诞生 了 认 知 情感 计算 这 一 交叉 领域 ， 如 图 
10-1 所 示 。 但 迄今 为 止 ， 认 知情 感 计算 领域 尚未 有 关于 认 知 量化 分 析 、 人 情绪 测量 、 表 征 和 
































解构 的 系统 论述 ， 也 缺乏 对 情绪 可 计算 问题 的 探讨 。 情 绪 体 验 作为 一 种 内 在 的 、 主 观 的 感 
受 ， 如 何 能 够 被 准确 、 有 效 地 认 知 ， 是 情感 计算 研究 所 要 解决 的 一 个 根本 问题 。 
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图 10-1 人 工 智 能 的 发 展 历程 











2009 年 度 国家 自然 科学 基金 重大 研究 计划 “视听 觉 信息 的 认 知 计算 ”项 目 指南 指出 ， 
与 人 类 视听 觉 感知 密切 相关 的 图 像 、 语 音 和 文本 (语言) 信息 在 社会 、 经 济 和 国家 安全 等 
领域 中 扮演 着 重要 角色 ， 并 在 今后 一 段 时 间 内 仍 将 迅猛 增长 。 这 类 信息 可 被 人 类 直接 感知 和 
理解 ， 也 可 用 计算 机 进行 处 理 ， 但 计算 机 的 处 理 能 力 远 逊 于 人 类 且 处 理 效率 远 不 能 满足 当今 
社会 的 发 展 需 求 。 如 何 借鉴 人 类 的 认 知 机 理 和 相关 数学 的 最 新 研究 成 果 ， 建 立新 的 认 知 情感 
计算 模型 和 方法 ， 从 而 大 幅度 提高 计算 机 对 这 类 信息 的 理解 能 力 与 交互 处 理 质量 ， 不 仅 可 有 
力 推 动 信息 科学 的 快速 发 展 ， 也 将 为 国民 经 济 和 社会 发 展 做 出 重大 贡献 。 


10.1.1 认 知 心理 学 


认 知 (Cognitive) 是 心理 学 中 的 一 个 普通 的 术语 ， 过 去 心理 学 词典 或 心理 学 书籍 中 把 它 
理解 为 认识 过 程 ， 即 和 情感 、 动 机 、 意 志 等 相对 的 理智 活动 或 认识 过 程 。 认 知心 理学 正 是 对 






































心理 事件 的 内 在 过 程 的 研究 。 因 此 ， 可 以 说 ， 认 知心 理 
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一 门 研 究 对 于 信息 的 知觉 、 理 








解 、 思 考 并 产生 管 案 的 科学 。 它 的 研究 对 象 包括 : 如 何 关注 并 获取 信息 ; 信息 如 何在 大 脑 中 
被 存储 和 加 工 ; 如 何 对 信息 进行 思考 并 予以 解答 。 现 代 认 知心 理学 主要 吸纳 了 人 类 智力 与 人 
工 智 能 、 认 知 神经 科学 、 注 意 等 12 个 主要 研究 领域 ， 如 图 10-2 所 示 。 


思维 与 概念 形成 


[| 
BH 
认 知 心理 学 


知识 的 表征 








图 10-2” 认 知心 理学 涉及 的 主要 研究 领域 


-一 模式 识别 


| 认 知 神经 科学 
| 人 类 智力 与 人 工 智能 


意识 


注意 





从 20 世纪 50 年 代 开 始 ， 心 理学 研究 重点 逐步 向 认 知 心理 学 转移 ， 新 的 学 术 期 刊 及 学 术 
组 织 也 开始 建立 ， 此 外 ， 计 算 机 与 人 脑 的 对 比 研究 也 引发 了 诸多 研究 者 的 兴趣 ， 其 对 比 结 
见 表 10-1。 伴 随 着 认 知 心理 学 的 崛起 ，1956 年 ，George Miller 的 论文 《神奇 的 数字 7 +2: 
我 们 的 信息 加 工 能 力 的 某 些 极限 》 将 这 场 认 知 革命 推 向 高 潮 ， 在 它 的 研究 中 充分 考虑 到 以 
下 三 个 方面 : 中 通信 理论 : 
知心 理学 有 重要 意义 ; 记忆 模型 : 在 语义 组 织 基 础 上 ， 逐 步 建 立 记忆 系统 模型 及 其 他 认 知 
过 程 的 可 验证 模型 ; (3) 计算 机 科学 : 作为 计算 机 科学 的 一 个 重要 分 支 ， 人 工 知 能 极 大 地 扩展 
了 关于 问题 解决 、 记 忆 加 工 与 存储 、 模 式 加 工 与 学 习 等 方面 的 研究 能 力 。 此 后 ， 是 否 可 以 用 
机 器 模拟 人 类 思维 过 程 的 争论 愈演愈烈 。 直 至 1980 年 ， 加 州 大 学 贝克 莱 分 校 的 哲学 家 John 
Searle 应 用 两 分 法 提出 了 弱 人 工 智能 〈 探 究 人 类 认 知 的 工具 ) 与 强人 工 智能 〈 通 过 计算 机 使 
机 器 具备 有 理解 力 的 心智 ) 两 种 研究 形式 ， 从 而 化 解 了 心理 学 研究 领域 的 冲突 ， 同 时 也 将 
认 知 理论 推广 到 人 工 智 能 与 计算 科学 领域 。 
表 10-1 计算 机 与 人 脑 对 比 




















基于 通信 理论 的 信号 检测 、 注 意 、 


























控制 论 与 信息 论 的 实验 ， 对 认 















































































































































硅 基 计算 机 碳 基 大 脑 
加 工 数据 FF 亿 分 之 几 秒 毫秒 级 到 秒 级 
处 理 类 型 系列 并 行 处 理 器 平行 处 理 器 
存储 能 存储 量 巨大 ， 存 储 形式 为 数字 化 编码 信息 存储 量 巨大 ， 存 储 形式 为 视觉 和 语言 信息 
物质 构成 硅 与 电子 供给 系统 神经 元 与 有 机 供养 系统 
工作 状况 绝对 服从 有 自己 的 思想 
学 习 能 力 规则 控制 概念 化 控制 
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( 续 ) 
硅 基 计算 机 碳 基 大 脑 
对 于 可 变 事 物 的 判断 、 推 理 和 归纳 能 力 强 ; 具备 语 
优势 特征 | ”经济 高 效 、 服 从 规则 、 易 于 维护 、 可 预知 DS Ps 
言 、 视 觉 和 情感 能 
多 六 息 作 | 缺乏 自我 学 习 能 力 ， 解决 复杂 的 认 知 任务 较 困 | 信息 加 工 与 存储 量 有 限 容易 中 忘 ， 维 护 成 本 高， 
“1 | 难 ; 体积 大 ， 需 要 能 量 来 抑制 其 机 动 性 生理 及 心理 需要 较 多 





























10. 1.2 情绪 的 有 限 状 态 集 与 维度 空间 


机 器 人 已 经 越 来 越 多 地 应 用 到 情绪 智能 中 ， 不 仅 可 以 产生 多 元 化 的 拟人 状态 ， 其 至 可 以 
实现 交互 过 程 中 的 移 情 ， 因 此 ， 在 机 器 人 的 情绪 建 模 过 程 中 ， 情 绪 的 量化 分 析 与 状态 调节 已 
成 为 实现 机 器 人 情绪 智能 尤为 重要 的 组 成 部 分 。 目 前 ， 通 过 对 诸多 具有 研究 与 实用 价值 的 情 
Re 

. 情绪 的 有 限 状 态 集 

a 基本 情绪 状态 和 复合 情绪 状态 。 基 本 情绪 状态 一 般 包 括 从 
en a 。Lazarus 指出 认 知 调节 与 期 望 价值 理论 (动机 心理 学 中 

影响 价值 的 理论 之 一) 在 情绪 与 行为 相关 社 科 领域 的 发 展 将 进一步 促进 有 限 情绪 状态 

A ee 
惧 、 悲 伤 、 愤 奴 、 人 惊讶 和 厌恶 ， 该 分 类 方法 得 到 诸多 表情 与 情绪 研究 领域 学 者 的 认可 。 
Cafiamero 将 情绪 划分 为 愤怒 、 厌 倦 、 和 恐惧、 快乐 、 有趣 和 悲伤 ， 并 将 其 应 用 到 社交 机 器 人 
的 情绪 建 模 研究 中 。Gadanho 将 4 种 基本 情绪 状态 〈 人 快乐、 恐惧、 悲伤 和 愤怒 ) 与 特定 事件 
相 联 系 来 开展 情绪 建 模 研究 。Velisquez 提出 了 一 种 基于 有 限 情绪 状态 的 自主 机 器 人 控制 方 
法 ， 此 方法 将 6 种 基本 情绪 状态 〈 愤 怒 、 慌 惧 、 愧 悔 、 快 乐 、 厌恶 和 惊讶 ) 应 用 于 机 器 人 
的 先天 个 性 形成 与 后 天 学 习 能 力 培养 的 研究 中 。Murphy 将 任务 链 中 获取 的 4 种 基本 情绪 状 
态 ( 快 乐 、 自 信 、 关 心 和 挫败 ) 应 用 到 多 Agent 系统 建 模 中 。 复 合 情 绪 状 态 由 多 种 情绪 混合 
而 成 ， 可 按 其 复合 性 质 分 为 2 ~4 种 基本 情绪 状态 的 混合 ， 基 本 情绪 状态 与 生理 内 驱 力 的 混 
合 ， 基 本 情绪 状态 与 认 知 情感 结构 的 混合 3 类 ， 经 过 以 上 混合 方法 所 产生 的 复合 情绪 状态 可 
达到 数 百 种 之 多 ， 大 大 丰富 了 有 限 状 态 集中 情绪 的 种 类 ， 典 型 的 复合 情绪 状态 见 表 10-2。 
表 10-2 ”典型 的 复合 情绪 状态 










































































































































































基本 情绪 状态 型 基本 情绪 -生理 内 驱 力 型 基本 情绪 - 认 知 结构 型 
有 趣 -高 兴 有 趣 -性 驱动 痛苦 - 自 插 
痛苦 -愤怒 您 惧 - 疼 痛 痛苦 -怀疑 
疏 惧 - 着 忌 厌恶 -疲倦 郑 导 -安稳 
轻 蕊 -厌恶 -愤怒 有 趣 -高 兴 - 性 驱动 灵 惧 -内 次 -怀疑 
慌 惧 -内 次 -痛苦 -愤怒 恐惧 - 愤 翁 -疼痛 有 趣 - 愤 怒 - 精 力 充沛 





















































2. 情绪 的 维度 空间 
由 于 情绪 具有 多 维度 结构 ， 晶 不 同 维度 代表 了 情绪 的 不 同 特性 ， 因 此 ， 情 绪 的 维度 论 认 
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为 几 个 维度 组 成 的 空间 包括 了 人 类 所 有 的 情绪 ， 按 照 情 绪 所 固有 的 茶 些 特性 ， 如 动力 性 、 激 
动 性 、 强 度 和 紧张 度 等 ， 也 正 因 如 此 ， 情 绪 可 以 通过 其 维度 表示 形式 化 描述 和 度量 。 人 情绪 的 
表示 可 以 看 成 是 具有 信息 度量 的 多 维 空间 的 点 在 情感 空间 中 的 映射 ， 情 感 计算 的 基础 就 是 找 
到 这 个 映射 维度 论 ， 将 不 同情 绪 间 的 变化 看 成 是 逐渐 、 平 稳 的 状态 转移 过 程 ， 不 同情 绪 之 间 
的 相似 性 与 差异 性 是 根据 彼此 在 维度 空间 中 的 距离 体现 出 来 的 。 迄 今 为 止 ， 情 绪 的 维度 划分 
方法 仍 没有 统一 的 定论 ， 表 10-3 所 示 为 几 种 经 典 的 维度 理论 定义 。 








表 10-3 几 种 经 典 的 维度 理论 定义 


提出 者 维度 数 定义 











情绪 的 快乐 维度 可 以 视 为 一 条 标尺 ， 其 一 端 为 正极 表示 极 度 快乐 ; 男 一 端 为 负极 ， 表示 
一 维 “| 极度 不 快乐 。 所 有 的 情绪 ， 如 厌恶 、 疼 痛 、 骄 做 、 快 乐 和 悲伤 ， 除 了 它们 的 独特 性 质 ， 它 们 
都 沿 着 这 条 共同 的 快乐 维度 移 位 


维克托 S. 
约翰 斯 顿 




















































































































Bradubum 二 维 正 负 两 极 ( 正 性 情绪 - 负 性 情绪 ) ， 强 弱 两 端 ( 强烈 的 情绪 - 弱 的 情绪 ) 
汉 特 二 维 情绪 由 愉快 -不 愉快 、 兴 奋 -沉静 、 紧 张 -松弛 这 三 个 维度 构成 。 每 一 种 情绪 在 发 生 时 ， 都 处 
(W. Wundt) Ee 于 这 三 个 维 量 的 两 极 之 间 
施 洛 伯 克 二 维 按照 R. S. Woodworth 早期 关于 依据 面部 表情 对 情绪 实 类 的 研究 ， 提 出 了 一 个 三 维 量 
(H Schosberg ) 人 表 。 根 据 此 量 表 将 情绪 准确 地 予以 定位 















































认为 情绪 间 的 相似 程度 各 有 不 同 ， ee 一 种 情绪 ， 任 何 



































































































































普 拉 奇 
三 维 “| 情绪 都 有 不 同 的 强度 。 因 此 ， 使 用 一 个 倒立 的 锥 体 来 描述 情绪 状态 空间 ， 切 面 上 的 每 块 代表 
js ULcnl 

一 种 情绪 

布 鲁 门 瑟 尔 三 维 情绪 是 注意 、 唤 起 和 愉快 三 个 维度 结合 而 成 的 

沃 森 二 根据 对 儿童 的 一 系列 观察 ，Watson 假定 有 三 种 类 型 的 基本 情绪 反应 一 - 恐惧、 愤怒 和 爱 ， 
(Watson ) ”| 并 将 这 三 种 情绪 标记 为 X、Y、2Z 三 个 维度 

米 伦 森 a 在 Watson 提出 的 三 种 维度 的 基础 上 ， 将 有 些 情 绪 视 为 基本 需要 (焦虑 、 欢 欣 和 愤怒 ) ， 其 
( Millenson) ” ”| 他 情绪 则 是 这 些 基本 情绪 的 合成 

泰勒 ee ee 所 a 

三 维 采用 评价 (快乐 度 ) 、 唤 醒 和 行为 〈 趋 避 度 ) 这 三 个 维度 值 对 陌生 面孔 进行 表情 认 知 度 : 




















(J. G. Taylor) 







































































克 雷 
。 四 维 ”| 根据 情绪 的 四 个 维度 模式 ， 经度、 紧张 水 平 、 复 杂 度 、 快 感度 ， 对 情绪 进行 描述 
加 扎 德 最 初 提出 的 八 种 维 量 是 从 众多 的 对 情绪 情境 中 作 自 我 评估 得 出 的 ， 后 经 第 选 ， 确 定 
伊 扎 德 册 维 | 了 四 个 维度 恰 快 维 ， 评 估 主 观 体验 最 突出 的 享乐 ， 紧 张 维 ， 表 示 情 绪 的 神经 生理 激活 水 
(lzard) ”| 平 ; 冲动 维 ， 涉 及 对 情绪 情境 出 现 的 突然 性 以 及 个 体 缺 乏 预料 和 缺少 准备 的 程度 ;确信 维 ， 
表达 个 体 胜任 、 承 受 感情 的 程度 
弗 利 达 





六 维 情绪 是 愉快 /不 愉快 、 兴 奋 、 兴 趣 、 社 会 评价 、 惊 奇 和 容易 /复杂 的 混合 体 











( Frijda) 
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其 中 ， 由 Activation-Evaluation 两 个 维度 组 成 的 二 维 空间 模型 ， 其 维度 结构 为 评估 度 (EE- 
valuation) 或 者 快乐 度 (Pleasure) ， 其 理论 基础 是 正 负 情绪 的 分 离 激 活 ， 并 已 经 过 许多 实验 
研究 证 明 ; 唤醒 度 (Arousal) 或 者 激活 度 (Activation) ， 指 与 情感 状态 相 联 系 的 机 体能 量 激 
活 的 程度 。 冯 特 (W. Wundt) 提出 的 三 维 模型 ， 其 维度 结构 为 愉快 -不 愉快 、 兴 奋 -平静 、 紧 
张 -松弛 。 四 维 模型 由 伊 扎 德 (Izard) 提出 ， 其 维度 结构 为 愉快 维 、 紧 张 维 、 冲 动 维 、 确 信 
维 。 愉 快 维 表 示 主 观 体验 的 享乐 色调 ; 紧张 维 表示 情绪 的 生理 激活 水 平 ， 包 括 对 释放 或 抑制 
等 行为 倾向 的 激活 水 平 ， 冲动 维 表 示 主 体 对 情境 出 现 的 突然 性 的 反应 倾向 ， 即 主体 对 情境 缺 
乏 预 料 和 准备 的 程度 ; 确信 维 表示 主体 对 情绪 的 承受 程度 。Mehrabian 等 人 提出 了 PAD 
( Pleasure-Arousal-Dominance) 三 维 情感 模型 ，PAD 情绪 模型 用 愉悦 度 、 激 活 度 和 优势 度 这 3 
个 近乎 相互 独立 的 维度 来 描述 和 测量 情绪 状态 。 其 中 ， 愉 悦 度 表示 个 体 情绪 状态 的 正 负 情感 
特性 ， 也 就 是 情绪 的 效 价 。 激 活 度 表示 个 体 的 神经 生理 激活 水 平和 心理 警觉 状态 。 优 势 度 表 
示 个 体 对 环境 和 他 人 的 控制 状态 ， 即 处 于 优势 状态 还 是 处 于 顺从 状态 。 在 此 基础 上 ， 
Hollinger 等 人 改进 了 PAD 三 维 情 绪 空 间 并 将 其 应 用 于 社交 机 器 人 的 情绪 决策 系统 中 。Miwa 
将 建立 的 APC (Arousal-Pleasant-Certain) 三 维 心理 向 量 空间 应 用 于 机 器 学 习 、 动 态 情 绪 调 节 
及 机 器 的 个 性 化 研究 领域 。 此 外 ，Breazeal 在 对 表情 机 器 人 Kismet 的 研究 过 程 中 提出 了 AVS 
(Arousal-Valence-Stance) 情绪 空间 模型 。 


10. 1.3” 认 知情 感 计算 


由 于 人 类 之 间 的 沟通 与 交流 是 自然 而 富有 情感 的 ， 因 此 ， 在 人 机 交互 的 过 程 中 ， 人 们 也 
很 自然 地 期 望 计算 机 具有 认 知 情感 能 力 。 认 知情 感 计 算 (Cognitive Affective Computing) 就 
是 要 赋予 计算 机 类 似 于 人 一 样 的 观察 、 理 解 和 生成 各 种 情绪 状态 的 能 力 ， 最 终 使 计算 机 像 人 
一 样 能 进行 自然 、 亲 切 和 生动 地 交互 。 

早期 ,大 多 数 认 知 系统 模型 都 是 基于 启发 式 解 题 程 序 ， 而 忽略 了 与 情感 的 互动 ， 例 如 纽 
龙 尔 和 西蒙 提出 的 LT (Logic Theorist) 模型 和 GPS (General Problem Solver) 模型 ， 只 能 通 
过 证 明 逻 辑 问题 ， 实 现 简单 的 认 知 功能 ， 仅 可 以 严格 按照 串 行 方式 工作 来 完成 单一 任务 ， 较 
多 地 依赖 于 手段 -目的 的 分 析 方法 ， 与 人 类 的 认 知 方式 存在 较 大 的 差别 ， 此 时 的 认 知 情感 的 
算法 分 析 还 是 一 个 难以 实现 的 梦想 。Kshirsagar 等 人 提出 的 一 种 用 于 对 话 虚 拟人 的 心境 、 个 
性 、 情 感 仿真 的 模型 ， 采 用 贝 叶 斯 置信 网 络 和 贝 叶 斯 推理 规则 ， 实 现 了 由 文本 输入 到 虚拟 人 
情感 动作 的 映射 。 表 情 机 器 人 Kismet 的 情感 系统 被 外 部 刺激 ， 然 后 对 一 个 给 定 的 刺激 使 用 
三 种 情感 特征 (唤醒 、 效 价 、 姿 态 ) 进行 标记 ， 进 而 映射 到 情感 空间 来 激活 某 种 情绪 ， 其 
情感 状态 空间 如 图 10-3 所 示 ， 该 模型 被 认为 是 交互 机 器 人 情感 计算 的 经 典 模 型 算法 。 其 目 
的 是 为 了 实现 特定 的 具体 任务 ， 侧 重 于 对 自然 情感 产生 的 情绪 性 行为 、 表 现 或 决策 的 模拟 ， 
而 不 关注 自然 情感 的 发 生机 理 。Miwa 开发 的 WE-4R 三 维 情感 系统 构架 ， 如 图 10-4a、b 所 
示 ， 以 人 为 范本 ， 将 情感 系统 划分 为 三 层 构架 : 反射 、 情 感 、 智 能 ， 再 将 情感 依 工作 时 间 的 
长 短 划分 为 学 习 系 统 、 心 情 、 动 能 反应 三 个 部 分 ， 反射 和 智能 在 情感 作用 下 ， 相 互 影 响 做 出 
反应 ， 并 以 此 发 展 出 情感 系统 的 运行 过 程 。 机 器 人 的 情感 在 外 在 环境 与 机 器 人 内 在 环境 的 共 
同 作 用 下 ， 经 过 由 感觉 个 性 和 表情 个 性 组 成 的 机 器 人 个 性 分 析 判 断 与 智能 和 反射 运动 的 影 
响 ， 最 终 决 定 出 机 器 人 行为 的 反应 。 其 情感 计算 方程 式 是 用 愉快 、 肯 定 、 激 动 三 种 感觉 和 相 
对 的 负 向 情感 建构 出 的 三 维 心理 向 量 空 间 ， 如 图 104c、d 所 示 ， 将 得 到 的 刺激 数据 向 量化 ， 


































































































173 









ee 细 一 
上 





























自主 式 反射 


内 部 环境 





短 “| 情感 的 动态 响应 

















a) 智 能 动能 构架 b) 情 感 系统 流程 图 
人 确定 性 





-- - 情感 轨迹 


不 确定 性 
c) 三 维 心理 空间 d) 情 感 映射 




















图 10-4 WE-4R 三 维 情感 系统 构架 及 其 心理 向 量 空间 











对 照 向 量 空 间 规划 出 的 7 个 情感 空间 ， 判 断 出 情感 驱动 下 的 表情 反应 。 该 模型 将 情绪 分 为 学 
习 系 统 、 心 境 和 动态 影响 ， 引 入 个 性 的 概念 ， 它 包含 了 感知 个 性 和 表达 个 性 这 两 个 方面 ， 但 
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没有 充分 体现 出 认 知 过 程 在 情感 计算 中 起 到 的 指导 作用 。 中 国 科 学 院 计 算 技 术 研究 所 的 史 忠 
植 研 究 员 提出 的 人 类 思维 层次 模型 ， 力 图 模拟 情绪 的 自然 发 展 过 程 ， 从 感知 思维 、 形 象 思 
维 、 抽 象 思维 三 个 方面 构成 人 类 的 思维 情感 体系 ， 探 讨 了 情绪 行为 产生 的 内 部 潜在 机 理 ， 体 
现 出 从 初级 感官 思维 逐步 进化 到 高 级 抽象 概念 的 人 类 认 知 情感 思维 过 程 。Sloman 提出 的 H- 
CogAff 模型 ， 涵 盖 了 正常 成 人 信息 处 理 过 程 的 主要 特征 ， 推 测 成 人 大 脑 中 反应 层 、 传 输 层 、 
自我 监控 层 的 信息 。 其 贡献 在 于 依据 情感 处 理 动机 ， 引 发 出 专门 的 情绪 反应 ， 但 这 一 体系 的 
不 同 层次 概括 了 不 同 的 情感 类 型 ， 层 次 之 间 的 交互 和 竞争 导致 了 更 为 复杂 的 情绪 。Botelho 
提出 的 Salt & Pepper 模型 有 三 个 主要 层次 : 认 知 和 行为 发 生 器 、 情 感 发 生 器 以 及 中 断 管 理 
器 。 在 情感 信息 处 理 过 程 中 情感 引擎 首先 通过 情感 发 生 器 对 智能 体 的 全 局 状态 进行 估价 ， 把 
情感 信息 分 类 为 情感 标记 、 对 象 的 评价 、 紧 急性 评价 ， 然 后 将 每 个 情感 信息 以 节点 的 形式 存 
储 在 长 期 记忆 单元 ， 各 节点 间 可 以 进行 交互 。 情 感 的 强度 与 该 节点 的 活动 水 平 相关 ， 这 些 情 
感 反应 使 智能 体 全 局 状态 发 生 改 变 。Elliot 等 通过 不 同 的 认 知 导出 条 件 ， 推 理 得 出 情感 推理 
机 ， 该 系统 使 用 显 式 的 评估 框架 ， 根 据 特 定 的 评估 变量 ， 对 事件 进行 特征 化 描述 ， 并 归纳 出 
一 组 影响 情绪 强度 的 变量 。 但 某 些 变量 间 的 差别 过 于 细微 ， 而 且 变 量 之 间 还 存在 相互 依赖 ， 
因而 对 于 算法 的 精确 性 影响 较 大 。 

说 到 情感 模型 ， 不 得 不 提 到 1988 年 Andrew Ortony、Gerald L.， Clore 和 Allan Collins 在 
《The Cognitive Structure of Emotions》 一 书 中 提出 的 OCC 认 知 情感 模型 。 它 是 早期 对 于 人 类 
情绪 研究 提出 的 情感 推理 模型 之 一 ， 也 是 第 一 个 以 计算 机 实现 为 目的 而 发 展 起 来 的 情感 模 
型 ， 当 前 使 用 较为 普遍 。0OCC 模型 分 析 环 境 中 所 发 生 的 事件 及 与 其 他 实体 交互 行为 中 可 能 
引发 的 情感 ， 并 在 此 基础 上 ， 以 规则 的 形式 总 结 并 归纳 出 它们 之 间 的 对 应 关系 。0CC 模型 
将 情感 产生 的 起 因 分 为 三 大 类 : 事件 的 结果 、 智 能 体 的 动作 和 对 于 对 象 的 观感 。 客 观 世 界 中 
的 事件 根据 主体 的 目标 被 评价 为 满意 (Pleased) 或 不 满意 (Displeased) ; 主体 自身 或 其 他 
主体 的 行为 根据 一 组 标准 的 集合 被 评价 为 赞成 的 (Approved) 或 不 赞成 的 (Disapproved); 
对 象 则 根据 主体 的 态度 被 评价 为 喜欢 的 (Liked) 或 不 喜欢 的 〈Disliked) ; 由 这 些 评价 中 的 
变量 产生 了 一 个 包含 22 种 类 型 情感 的 层次 结构 。0CC 模型 为 我 们 提供 了 一 个 情感 的 分 类 方 
案 ， 并 给 出 了 在 这 些 情感 类 型 之 下 的 潜在 推理 过 程 。 它 提供 了 一 个 基于 规则 的 情感 时 出 机 
制 ， 可 以 有 效 地 通过 计算 机 进行 模拟 。 它 没有 利用 心理 学 中 普遍 采用 的 基本 情感 集合 或 一 个 
明确 的 多 维 空 间 来 描述 情感 ， 而 是 使 用 一 致 的 认 知 结构 来 表达 情感 。OCC 模型 可 以 代表 一 
类 情感 模型 ， 即 基于 情感 的 认 知 理论 和 基于 规则 的 建 模 。 显 然 ，0CC 模型 对 于 情感 的 激活 
和 产生 更 多 考虑 的 是 认 知 因素 ， 而 没有 涉及 情感 激活 的 其 他 过 程 。 

对 情感 进行 度量 的 思想 吸引 着 心理 学 、 认 知 科学 和 信息 科学 等 很 多 学 科 的 研究 者 。 不 同 
学 科 的 研究 者 试图 从 不 同 角度 模拟 情绪 的 产生 和 变化 ， 情 绪 的 复杂 性 以 及 人 类 对 本 身 情感 变 
化 规律 研究 得 尚 不 完善 ， 使 得 这 项 工作 显得 格外 艰巨 ， 因 此 ， 出 现 了 众多 情绪 理论 林立 并 存 
的 局 面 。 随 着 研究 人 员 对 情绪 的 不 断 深 入 探索 ， 这 项 研究 发 展 空前 ， 目 前 在 情感 计算 领域 已 
有 很 多 情绪 模型 出 现 ， 当 然 不 能 用 过 多 挑剔 的 眼光 来 询问 这 些 模 型 是 否 完 美 地 实现 了 对 人 或 
动物 情绪 的 定量 描述 和 分 析 ， 至 少 有 些 模型 从 功能 角度 实现 了 有 限 的 模仿 ， 下 面 综述 介绍 了 
当前 比较 有 影响 力 的 情感 模型 和 近年 来 情感 建 模 的 趋势 ， 如 图 10-5 所 示 。 
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10.2 经 典 的 情感 计算 


VLON\ 


10.2. 1 基于 欧式 空间 的 人 工 情感 模型 


建立 如 图 10-6 所 示 的 情感 空间 ， 在 人 


法 ， 建 立 以 基本 情绪 为 基 向 量 的 欧 氏 
空间 、 基 于 情绪 多 维 量 结构 的 维度 空 
间 和 基于 情感 能 量 学 说 的 概率 空间 。 
在 此 基础 上 人 研究 机 器 情绪 的 组 成 和 情 
绪 状 态 变 化 的 数学 描述 ， 提 出 基于 欧 
氏 空 间 的 情感 建 模 方法 ， 探 讨 模型 参 
数 与 个 性 心理 之 间 的 关系 。 

图 10-6 建立 的 情感 空间 具有 三 种 
情感 : 喜悦 、 恺 恨 和 愤怒 。 为 进一步 
简化 问题 ,规定 情感 状态 的 每 一 个 
维 , 仅 取 0，0.5, 1 三 个 数值 。 例 














如 ， 就 鸭 惯 而 言 则 具有 不 怒 惯 (0)， 
有 些 恐 惧 〈0.5) 和 念 惧 (1) 三 个 











状态 。 于 是 在 这 样 的 三 维 情感 空间 里 
就 具有 27 个 情感 状态 。 


绪 心 理学 的 基础 上 ， 讨 论 情感 状态 空间 的 构建 


4 轴 (了 恐惧 ) 


基于 个 性 和 OCC 的 情感 模型 


应 用 于 个 人 机 器 人 的 人 工 心理 模型 





国内 外 主要 的 情感 模型 统计 


< 轴 (喜悦 ) 





NN 















ed 








图 10-6 ”基于 欧式 空间 的 人 工 情感 模型 
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2 轴 (愤怒 ) 
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因此 ， 和 情感 活动 就 成 为 在 这 个 情感 空间 中 各 状态 之 间 的 转移 过 程 ， 即 马尔 可 夫 过 程 。 如 
果 更 为 一 般 的 考虑 ， 认 为 情感 具有 m 种 ， 其 中 每 种 情感 可 以 划分 为 n 个 级 别 ， 于 是 这 样 构 
成 的 情感 空间 就 具有 n” 个 情感 状态 , 令 1=n"， 于 是 可 以 得 到 1 维 的 马尔 可 夫 概 率 矩 阵 。 


10.2.2 基于 概率 空间 的 HMM 情感 建 模 


这 种 建 模 方法 首先 定义 情感 的 两 种 状态 (“心境 ”和 “激情 ") 及 其 相对 应 的 两 个 基本 
转移 过 程 ， 提 出 情感 状态 的 概率 空间 ， 并 分 别提 出 了 基于 马尔 可 夫 链 和 HMM 的 情感 转移 变 
化 模型 ， 用 来 模拟 情感 的 两 个 基本 转移 过 程 。 通 。 守 情感 状态 空 间 
过 情感 能 量 、 情 感 强度 和 情感 炳 等 概念 ， 描 述 情 
感 特征 与 情感 状态 。 通 过 计算 仿真 ， 验 证 所 提出 “j 
模型 可 以 较为 正确 地 模拟 情绪 状态 的 自发 转移 以 
及 刺激 转移 过 程 ， 完 整地 描述 情绪 强度 在 外 界 刺 
激 、 当 前 心情 状态 和 性 格 三 方面 综合 影响 下 的 变 
化 规律 ， 为 情感 计算 和 机 器 情绪 自动 生成 理论 研 
究 提 供 了 一 种 办 新 的 方法 。 建 立 的 情感 空间 如 图 ”0 
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图 107 建立 的 情感 空间 坐标 轴 分 别 表 示 高 CP Ea(eh) 
兴 、 人 愤怒 、 恺 惧 三 种 情绪 状态 ， 用 x、y、z 分 别 ”图 10-7 基于 概率 空间 的 HMM 情感 模型 
表示 。 三 维 的 绝对 或 相对 情感 能 量 分 布 方程 可 写 
成 


+y+z=a(l ~-A+yYAE 
. y+z= CQ 人 YA) (10.1) 


x+y+z=1(0<x.y.z<1) 

情绪 状态 自发 转移 过 程 的 马尔 可 夫 链 模型 和 情绪 状态 刺激 转移 过 程 的 HMM 模型 都 建立 
在 情感 状态 概率 空间 的 基础 上 。 其 中 ， 前 者 是 用 来 模拟 人 们 受到 刺激 一 段 时 间 后 恢复 平静 的 
过 程 ， 后 者 是 用 来 模拟 人 们 受到 刺激 时 情绪 的 变化 。 

1. 情绪 状态 自发 转移 过 程 的 马尔 可 夫 链 模型 与 算法 

人 类 的 情感 是 十 分 复杂 的 ， 要 想 使 情感 机 器 具有 像 人 类 一 样 丰富 的 情感 及 表现 目前 还 十 
分 困难 。 为 简化 问题 ， 建 立 便于 机 器 实现 的 情感 度量 与 计算 模型 ， 制 造 具 有 基本 人 类 情感 或 
能 近似 模拟 人 类 的 基本 情感 ， 并 和 产生 和 谐 、 生 动 、 有 趣 的 人 机 交互 效果 的 情感 机 器 ， 我 们 
需要 做 出 一 些 基 本 的 假设 和 限定 。 

如 果 用 NN 表示 基本 情绪 总 数 ，i =1，2，,，…, NN 表示 基本 情绪 序号 ,情绪 状态 可 用 下 鱼 
的 状态 集合 表示 : 


























3 =193i, 9 VS =112 VS =I=1,2,…,V) (10-2 ) 
假设 1 情感 机 器 只 具有 人 类 的 几 种 基本 情绪 状态 。 一 般 设 定 W =4，1 = 高 兴 、2 = 慎 
经 、3 = 扑 惧 、4 = 悲伤 。 
假设 2 即 在 外 界 刺激 的 作用 下 ， 人 情感 机 器 的 任意 两 种 情绪 状态 之 间 可 以 互相 转移 。 
假设 3 ” 某 种 刺激 确 定性 地 引发 某 一 种 情绪 ， 即 刺激 只 引发 情绪 i。 刺激 用 V; 表示 ， 
刺激 集合 为 





V= {VV ,V,,, Vy) {1,2,.…,M) ,V ,=m(m=1,2,.…,M) (10-3) 
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假设 4 各 种 基本 情绪 状态 是 互相 排斥 的 。 即 刺激 m =i 应 使 情绪 状态 i 的 强度 增加 ， 而 
其 他 情绪 状态 =i J=1，2，…，N) 的 强度 减少 。 

假设 5 情感 状态 的 变化 包括 两 个 过 程 : 心情 状态 自发 转移 和 情绪 状态 刺激 转移 。 

假设 6 心情 状态 自发 转移 的 趋势 是 : 总 是 向 着 平静 心情 状态 转移 。 

情绪 状态 自发 转移 过 程 的 数学 模型 : 

在 情感 状态 概率 空间 的 基础 上 ， 人 情绪 状态 自发 转移 过 程 的 基本 方程 为 








已 =P0 4 (104) 
式 中 P=[p，pP2，…, pW] 一 一 初始 时 刻 情绪 状态 概率 分 布 向 量 ; 
P=[pi，p;，… ,Pwj 一 一 t 时 刻 情绪 状态 概率 分 布 向 量 ; 
4' 一 一 t 阶 情绪 状态 自发 转移 矩阵 。 
4 的 极限 概率 分 布 为 元 ” =[77 ， 72 ，…， 7 ]。 由 式 limP' =7' 可 知 ，z" 表示 情绪 状 
态 自 发 转移 过 程 最 终 处 于 稳定 时 的 心情 状态 概率 分 布 。 


在 式 (104) 中 ，P? 和 元 "是 事先 给 定 的 ， 只 要 确定 了 4 ， 就 可 计算 任意 给 定时 刻 1 的 
情绪 状态 概率 分 布 向 量 己 ， 当 呈 "m 时 ， 有 己 - 亏 " 





























状态 转移 矩阵 的 确定 : 
Ni, i=] x. 
sw=| 放大 一 
i, 1 到 7 yi 
X YY 0 | 
a Yo WF 
A={a(i,) lyxw = . : (10-5) 
YN YN ”YN 
xi+ (N-1) y,=1 
| (10-6) 
Xi =k,y;, k=0 
解 上 面 二 元 一 次 方程 并 代入 式 (10-5) 可 得 
ki 1 1 1] 
N-l+k N-l+k N-1l+hk 
1 k, 1 
A={a(is hw=I N-l+k, N-l+k, N-l1+k, (10-7 ) 
1 1 je: 
N-l+kyv N-l+ky N-1+hkyJ 








下 面 确定 ,， 其 中 i=1， 2 “"", N。 


由 7 4=T ,Ti +72 +…+Tw =1 得 
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ho 1 1 1 
。 + 7 + + TN + =7* (1 
TNET4h 2 N21+h TO eT se Wi 
Ti + 7 + + TW) 十 TTN 7 (2 
N-1+hk N-1+hk, N-1+kw N-l1+k, 
M 
(10-8) 
了 ， 1 kv) : 1 
T11 十 TT> 十 十 TOv_D + Ty =7w_1 (N-1) 
N_-1+ *N-1+h, N-1+Ew 和 “N-1l+tk, 
Ti 十 T7， 十 十 TOw_D) + Ty Ty (N) 
N-l1+hk N-l1+hk, N-1 +kw) N-l+hky 
TT +7; +***+7y =1 (N+1) 
解 得 
.N-1+hk, 
1 
N-l+k 
i .N-1+hk 
TL yh (10.9) 
， .N-1+hky 
TY a 
将 式 (10-9) 代入 式 (10-8) 的 (N+1) 式 得 
， (V-1)(CN=-1) +hk, 二 1 十 十 大 
Ti | 1 + | =1 
N-1l+k 
N-1+k N-1+hk 


水 


T11 





和 n 
(V1DN+h + 有 + 肥 a 
ie 


所 以 
N-1l1+h N-1l1+k 
es 





(N- IN+ Sh 


| 

N-l+h, N-1+k, 

本 eo. N 
(N-—-1)N+tk +h, +h + +hky (N-IN+ Yk(N>3) (10-10) 


i=1 


六 


772 





. N11+hk, NT 有 
RN (N—-1)N+hk +h, +h + +hky 








(N-1)N+ > 
由 式 (10-10) 得 


2 N-l+k N-l+k N-1l+ky 
(N-1)N+ > k= a 2 
i=1 


(10-11) 





IT11 IT12 TN 
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1 =0r - (N-1) 








解 得 hb = Om (N-1) 
=0m - (N-1) 
所 以 有 
bm- (N-1) 1 1 ] 
On Om Om; 
1 Gm —(N-1) 1 
站 Om, Om; on, (10-12) 
1 1 Orn (N-1) 
Omy Om Omw J 





当 和 N=4 时 , 代入 式 (10-12) 得 












































Om7, -3 1 1 i 
TL -3 1 1 | - ; - 
On, On, On, On, 
Li Li Li Li 
1 LL-3 1 1 1 07, -3 1 1 
L, L, JJ 万 Om 2 Om 2 Om Om, 
es = | (10-13) 
1 1 Ls -3 1 1 Om’ -3 
了 了 天 L x x 
3 3 3 3 On; On; On, On; 
| 1 1 1 Li-3 ee 
了 L L L | 1 1 1 T， 
On, Om On, Om | 





实际 生活 中 ， 真 实 人 的 情绪 在 刺激 事件 影响 后 ,需要 一 个 自发 回落 至 平静 的 过 程 ， 因 此 
情绪 状态 自发 转移 过 程 主要 是 为 了 模仿 虚拟 人 在 多 个 情绪 刺激 间隔 时 间 内 ， 情 绪 自 动 恢复 平 
静 的 过 程 。 

2. 情绪 状态 刺激 转移 过 程 的 HMM 模型 与 算法 

根据 心理 学 理论 ， 在 有 外 界 情感 信息 刺激 的 情况 下 ,情感 状态 主要 体现 在 情绪 的 变化 
上 ,而 情绪 的 变化 又 受到 多 方面 的 影响 ， 概 括 地 说 ， 主 要 由 外 界 情感 信息 的 刺激 (类 型 、 
强度 ) 、 当 前 心情 状态 以 及 情感 性 格 三 个 因素 共同 作用 ， 可 表示 为 XA=(N, M, 7, 4, B)。 
其 中 ，N 表示 基本 情绪 总 数 ，M 表示 刺激 类 型 ， 是 HMM 模型 中 的 初始 概率 分 布 ， 4 为 情 
绪 状 态 刺激 转移 矩阵 ，B 表示 刺激 矩阵 。 

在 情绪 状态 的 刺激 转移 过 程 中 ， 情 感 状态 主要 表现 为 情绪 状态 ， 情 绪 状态 概率 分 布 P = 
[p11， ps，…， pnj」 可 用 下 面 两 个 概率 分 布 来 描述 。 

初始 心情 状态 概率 分 布 ; 

初始 心情 状态 概率 分 布 ， 也 就 是 HMM 模型 中 的 初始 概率 分 布 7,: 7 =[7i，7y，… 











» 
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Tw] ， 它 等 于 心情 状态 自发 转移 中 的 P=[pi, ps，…, py]。 
当前 情绪 状态 概率 分 布 : 
当前 情绪 状态 概率 分 布 P=[pt”，pl”,，…,， pM ]， 表 示 与 外 界 刺激 的 类 型 与 强度 了 


相对 应 的 情绪 状态 。 可 通过 前 向 变量 计算 和 后 向 变量 计算 ， 得 到 状态 概率 分 布 六 7 。 
4 为 情绪 状态 刺激 转移 矩阵 ， 它 的 极限 概率 用 7 表示。 具体 可 由 式 (10-14) 来 确定 。 



































Eb 1 1 
所 L, A 
1 L,-(N-1) 1 
人 4 
1 1 Lv-(N-1) 
全 | 
bom, -(N-1) 1 ] 
On On On 
7: -(N-1) | 
-| on; O72 Ga (10-14) 
有 Le 0m; -(N-1) 
L on; On ni; | 
外 界 刺激 可 以 用 HMM 模型 中 的 观察 值 、 观 察 值 矩 阵 、 观 察 值 序列 来 描述 。 观 察 值 集合 
也 就 是 刺激 集合 为 
V= {Vb Vy =|1,2, ,MI, V,=m(m=1,2,.…,M) (10-15) 
令 观察 值 矩阵 也 就 是 刺激 矩阵 为 
Bl) 而 (DCD 
{B(m,i) | wxw = | Ne 人 (10-16) 
bi(M) b(M) + by(M) 


其 中 BCV,) =[6(m) 六 (mm) … by(m)]，(1<mM) 称 为 对 应 第 m 种 情绪 状态 
的 刺激 向 量 。 刺 激 向 量 BCV,) A 且 应 满足 


> b(m)=1, (1<i<N) (10-17) 





> bi(m)=1, (1<ms<M) (10-18) 


外 界 刺激 和 矩阵 的 具体 确定 根据 式 (10-19): 
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今 
b,()) = Eg (10-19) 
则 刺激 矩阵 可 写 为 
a 1 b 
b a +: 0&b 
{B(m,i) | yxn = : : 本 。 (10-20 ) 
b b a 
今 
r= ,Cr>1) (10-21) 
r 称 为 刺激 影响 因子 。 由 式 (10-18) 得 
a+(N-1)b=1 (10-22) 


由 式 (10-21) 和 式 (10-22) 联合 解 得 
ee r 
N-l+r 
, ， rr>1 (10-23) 
3 
只 要 确定 >， 就 完全 可 确定 刺激 矩阵 1B(m, i) wxwo 
通过 实用 的 情感 信息 获取 手段 ， 经 过 情感 模型 产生 服务 机 器 人 自身 的 情感 ， 再 适当 地 表 
达 出 来 ， 整 个 过 程 所 涉及 的 软 硬 件 模块 ， 构 成 了 服务 机 器 人 的 情感 系统 。 肉 入 此 情感 系统 ， 
可 以 为 实现 具有 情感 的 个 性 化 和 谐 人 机 交互 提供 有 效 途 径 。 


10.2.3 ”情感 计算 模型 的 优势 与 劣势 


总 体 看 来 ， 虽 然 很 多 情感 模型 已 经 建立 起 来 ， 但 是 能 够 应 用 在 智能 机 器 人 计算 机 系统 中 
的 并 不 多 ， 所 以 可 以 说 情感 建 模 的 研究 现在 还 处 于 初级 阶段 。 根 据 建 模 的 思想 及 其 影响 力 ， 
我 们 可 以 将 情感 模型 划分 为 基于 认 知 的 情感 模型 、 基 于 概率 的 情感 模型 和 其 他 类 型 的 情感 模 
型 。 根 据 文献 的 资料 来 看 ， 更 多 的 研究 者 倾向 于 对 基于 认 知 的 情感 模型 和 基于 概率 的 情感 模 
型 的 研究 。 各 情感 模型 的 优 缺 点 归纳 如 下 。 

1) 基于 认 知 的 情感 模型 中 应 用 最 广泛 的 是 0CC 模型 。0CC 模型 是 基于 认 知 的 情感 模 
型 ， 采 用 一 致 性 的 认 知 导出 条 件 来 表述 情感 ， 通 过 不 同 的 认 知 条 件 进行 归纳 ， 大 约 规范 出 
22 种 情感 类 型 ， 其 中 包括 用 来 产生 这 些 情 感 类 型 的 基本 构造 规则 ， 所 以 0CC 模型 是 第 一 个 
易于 计算 机 实现 的 认 知 型 情感 产生 模型 。Elliott 情感 推理 机 系统 就 可 以 看 成 是 0CC 模型 的 一 
个 计算 机 实现 。 

但 是 它 仅 仅 考虑 了 情感 的 认 知 因素 产生 机 制 ， 并 没有 考虑 情感 的 非 认 知 因素 产生 因素 ， 
实际 中 情感 的 产生 不 仅仅 依赖 于 认 知 情况 。 所 谓 的 非 认 知 因素 又 可 称 为 非 智力 因素 ， 侧 重 于 
动机 、 兴 趣 、 意 志和 性 格 等 方面 。 因 此 我 们 可 以 看 出 ， 非 认 知 因素 虽然 不 直接 参与 认 知 过 
程 , 但 是 却 直接 制约 认 知 过 程 。 假 如 某 个 人 的 性 格 偏 外 向 ， 属 于 活泼 开朗 型 的 人 ， 那 么 可 以 
刺激 到 性 格 内 向 的 人 的 外 部 环境 未 必 能 够 影响 到 这 个 外 向 的 人 。 所 以 在 情感 建 模 中 也 需要 考 
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虑 到 非 认 知 因素 的 作用 。 针 对 这 一 不 足 很 多 研究 者 提出 了 改进 的 模型 (如 lzard 等 人 加 入 了 
非 认 知 因素 ) ， 但 是 都 没有 广泛 地 应 用 到 实际 中 去 。 

2) 基于 概率 的 模型 中 最 典型 的 就 是 HMM 模型 。HMM 模型 将 情感 视 为 表征 生命 体 心智 
状态 的 一 种 信息 ， 认 为 情感 信息 是 情绪 过 程 产生 的 观察 序列 ， 并 假定 这 种 情绪 过 程 是 一 种 马 
尔 可 夫 过 程 。HMM 信号 模型 为 描述 情感 信号 处 理 过 程 提供 了 理论 基础 ， 从 而 可 以 获得 期 望 
的 输出 ， 对 情感 信号 建 模 可 以 让 我 们 更 好 地 研究 信号 源 一 一 情绪 过 程 ， 并 且 可 以 模拟 信号 源 
产生 信号 。 

HMM 模型 仅仅 是 从 概率 的 角度 来 模拟 情感 的 产生 ， 而 且 HMM 它 本 身 的 缺点 和 局 限 性 
也 随 之 被 带 入 到 情感 模型 领域 。 例 如 ， 对 于 给 定 的 状态 ， 它 要 求 各 个 观察 值 是 相互 独立 的 ， 
但 有 了 时 事实 并 非 如 此 ， 它 们 之 间 会 相互 依赖 ， 人 情感 状态 更 多 的 时 候 是 呈 连 续 状 态 的 。 又 如 它 
假定 在 时 刻下 的 状态 只 依赖 于 时 刻 上 -1， 而 在 现实 中 不 仅仅 如 此 。 当 某 种 强度 很 大 情绪 产 
生 时 ， 它 不 仅 会 对 下 一 时 刻 的 情感 产生 造成 影响 ， 有 可 能 会 对 下 下 一 刻 的 情感 产生 也 产生 影 
响 ， 直 到 随 着 时 间 的 推移 这 种 情感 的 强度 值 归于 零 。 因 此 这 种 离散 的 情绪 空间 虽然 可 以 清 
楚 、 明 了 地 定义 情绪 状态 ， 但 是 不 符合 人 类 复杂 的 内 心情 绪 状 态 。 也 有 人 认为 HMM 情感 模 
型 的 认 知 因素 和 非 认 知 因素 考虑 的 不 够 全 面 。 很 多 后 续 的 研究 也 针对 这 些 缺 点 进行 不 断 改 
进 ， 如 提出 了 加 入 心境 和 个 性 的 HMM 模型 算法 ; 含有 人 情感 粹 、 人 情绪 炉 概 念 的 HMM 情感 模 
型 ; EHMM 算法 的 情感 模型 。 但 是 对 这 种 基于 概率 的 情感 模型 来 讲 ， 有 着 先前 限制 条 件 的 
约束 ， 因 此 也 没有 从 根本 上 解决 这 个 问题 。 

3) 基于 任务 的 情感 模型 。 这 类 情感 模型 针对 特定 任务 而 建立 ， 因 此 实用 性 强 但 通用 性 
差 。 

4) 其 他 的 一 些 情感 模型 ， 虽然 可 以 将 很 多 情感 产生 的 因素 考虑 进去 ,但 是 在 描述 人 类 
复杂 的 情感 时 又 比较 模糊 ， 导 致 其 通用 性 并 不 强 ， 复杂 的 情感 推理 机 制 在 计算 机 上 并 不 容易 
实现 









































因此 我 们 人 迫切 地 需要 有 一 种 基于 多 机 制 的 情感 模型 ， 不 仅 能 够 从 理论 上 可 以 尽 可 能 地 赛 
括 情感 产生 的 原因 ， 而 且 能 够 从 实际 出 发 ， 考 虑 到 其 通用 性 和 复杂 性 。 














10.3 ”情感 建 模 的 新 研究 


基于 上 述 介 绍 的 情感 计算 模型 ， 接 下 来 ， 我 们 主要 针对 其 普 适 性 、 个 体 情 绪 差 异性 以 及 
实用 性 展开 研究 。 


10. 3.1 普 适 性 


针对 现 有 的 隐 马 尔 可 夫 情 感 模型 仅 能 产生 基本 情绪 的 问题 ， 提 出 了 一 种 改进 的 模型 ， 使 
其 能 够 产生 复合 情绪 。 首 先 ， 放 宽 已 有 理论 的 假设 条 件 ， 使 得 某 种 刺激 可 以 引发 多 种 基本 情 
绪 ， 并 且 两 种 基本 情绪 状态 的 强度 可 以 同时 增 大 ， 提 高 模型 的 普 适 性 ; 其 次 在 引入 辅助 矩阵 
和 可 变 阔 值 后， 实现 了 情感 模型 的 复合 情绪 生成 。 并 通过 仿真 试验 ， 验 证 了 该 模型 的 有 效 
性 。 

1. HMM 情感 模型 的 推广 

基于 上 述 模 型 的 假设 3， 得 到 M = 六 的 结论 ， 即 基本 情绪 总 数 与 刺激 类 型 总 数 是 相等 
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的 ，B 阵 为 一 方 阵 ， 这 样 某 种 刺激 就 会 确定 性 地 只 引发 某 一 种 基本 情绪 。 由 于 情绪 分 为 基本 
情绪 和 复合 情绪 ， 若 基于 隐 马 尔 可 夫 的 情绪 状态 刺激 转移 模型 仅 能 产生 特定 的 基本 情绪 ， 还 
不 够 完善 。 如 何 使 其 能 够 产生 复合 的 情绪 ， 是 一 个 需要 解决 的 问题 。 

首先 ， 引 入 辅助 矩阵 Fwxw， 即 











Bis | rp ey 

pe 下 _ 人 2 J (10-24) 
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ey 


其 中 ， 行 向 量 F. (1<j 夸 N) ， 对 应 第 7 种 基本 情绪 类 型 的 刺激 。 通 过 这 个 行 向 量 的 各 
个 分 量 的 值 可 确定 刺激 的 类 型 。 
yA, (1<i<N) (10.25) 
,i i=] | 


人 f(D) = 人 党 且 sr= 二,(r>1), 换 元 带 入 式 (1025), 得 到 
Ci i] 0 





人 ,7>1, 进 而 得 到 辅助 条 隆 。 

为 了 使 基于 隐 马 尔 可 夫 的 情绪 状态 刺激 转移 模型 产生 复合 情绪 ， 需 要 减少 上 述 理论 假设 
条 件 。 这 种 条 件 或 约束 的 放宽 ， 增 加 了 情感 模型 的 普 适 性 。 

复合 情绪 是 由 基本 情绪 的 不 同 组 合 派生 出 来 的 ， 一 种 复合 情绪 类 型 的 刺激 可 以 引发 若干 
种 基本 情绪 ， 显 然 上 述 假设 3 是 不 合理 的 ;同样 ， 由 复合 情结 引发 的 几 种 基本 情结 强度 值 也 
是 可 以 同时 同方 向 变化 的 ， 因 此 ， 假 设 4 也 不 够 合理 。 因 此 ， 要 删除 这 两 个 假设 。 

其 次 ， 在 剩余 的 四 个 假设 条 件 下 ， 根 据 辅助 算 隆 来 计算 HMM 情绪 状态 刺激 转移 模型 中 


























的 刺激 矩阵 至 。 
和 B 阵 定义 为 
Bs | Dy 
x i 人 的 
Bn = | = . . (10-26) 
A BM) Bb(M) 2 by(M) 
LB, J 


1) 当 刺 激 类 型 为 基本 情绪 类 型 时 ， 此 时 M=N，B =F， 这 已 在 原 有 HMM 情感 模型 中 
讨论 ; 
2) 当 刺 激 类 型 为 复合 情绪 类 型 时 ,例如 复合 情绪 i 是 由 基本 情绪 i, j,k 组 成 的 ， 则 


Byun=|[B,. B,. B,. B | 2) WN 
-| EF,. F,. (FP,. +F,. +F,. 
i 
1 天 
B 阵 第 1 行 对 应 的 和 向量， ， 即 为 复合 情绪 类 型 对 应 
因为 于 b(m) = > (1<i 


人 





进而 可 以 通过 五 元 组 A= (N，M，P'，A， 名 ) ， 计 算 情绪 刺激 转移 过 寺 程 中 的 情 古 


2. 变 阀 值 处 理 溢 界 问题 


通过 去 除 假设 3 和 4,， 引 入 辅助 矩阵 五 后 ， 原 有 的 HMM 情感 模型 


由 基本 情绪 组 合成 的 复合 情绪 ， 增 加 了 模型 的 适用 环境 。 

但 是 在 实际 使 用 时 ， 却 存在 情绪 状态 值 的 溢 界 问题 。 
绪 i, j 组 成 的 ， 当 刺激 事件 持 乡 
它们 都 增 大 到 0.5 并 会 保持 不 变 
HMM 模型 的 计算 ， 大 于 0.5 的 情绪 将 会 被 持久 
于 0.5 的 情绪 ， 将 会 被 持续 抑制 ， 逐 渐 趋 于 0。 

基于 情绪 状态 刺激 转移 过 程 的 HMM 模型， 


之 ， 











情感 强度 值 是 通过 


(10-27) 


(N-2)xN 


的 刺激 向 量 。 


<N) ， 所 以 8 阵 依然 满足 HMM 模型 的 使 用 要 求 ， 


感 状态 值 。 


型 得 到 推广 ， 能 够 产生 





例如 ， 茶 种 复合 情绪 是 由 基本 情 


址 刺激 复合 情绪 时 ， 相 应 基本 情绪 蕊 7 的 值 都 将 增 大 ， 理 论 上 
实际 上 车 此 时 出 现 小 的 扰动 ,使 它们 
实 激 发 ， 逐 渐 增 大 到 1. 0 并 保持 ， 而 男 一 个 小 








高 离 0. 5 ， 根 据 





前 向 -后 向 算法 来 计算 的 。 





设 前 向 变量 为 @ = [& oo el 
其 中 
ai =P':.B.. (10-28) 
a = YABB SP 5sB xA*B. (10-29) 
ow AB EP.B. KA:B xA:B. (10-30) 
依 此 类 推 
& =& XA B=P'.B. xh. 五 x xA:B. (10-31) 
N-1 
定义 后 向 变量 为 = | 有 大 … p' ,|] 
其 中 
Byett: 划 (10-32) 
Bw =B,. .8 、 xA’=B,. xA’ (10-33) 
B ,=B,. .B ,xA’=B,. .B,. xA’xA’ (10-34) 


依 此 类 推 
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Bi=B,. :BB,xA’=B,. … 也 x4 xA (10-35 ) 
N-1 全 
计算 y= [7 总。 
其 中 
N-1 
人 入 人 入 入 信 Ny 
^ ap P'.B.. B,. xA’x:…xA!’ 
Yi 一 人 入 一 -六 三 和 信 (10-36) 
al xB! P':B..x(B B,. xA’ x:… xA’)’ 
N-1 N-1 
沽 二 语 号 
一 一 
入 入 入 信 人 入 ee 
^ @,*B, P'.B,.xA:B B,. xA’x:…xA!’ 
be A 入 和 和 入 (10-37 ) 
a; XB, (P':B,.xA:.B..)x(B,. :BB,. xA’x.:…xA’)’ 
1 了 一 一 一 一 一 一 一 一 
N_2 N-2 
依 此 类 推 
N-1 
a, DB 、 P':.B,. xA.B. x.…xA.B,. 
Y; max 二 入 三 汉 和 和 入 (10-38 ) 
Q wxB 已 .五 xA:B.x:…xA.B,. x[l 1 1]/ 
N-1 





其 中 ，s_ max 为 最 大 刺激 强度 。 

从 式 (10-38) 看 出 ， 若 情感 状态 向 量 已 中 某 两 个 基本 情感 状态 值 相同 ， 在 被 激发 后 的 
下 一 时 刻 ， 这 两 个 维度 的 值 也 应 相同 ， 因 此 ， 溢 界 问 题 应 来 自 于 其 程序 实现 。 

计算 机 在 处 理 大 量 的 浮 点 数 运算 时 ， 由 于 计算 的 精度 问题 ， 看 似 相 等 的 两 个 浮 点 数 可 能 





并 不 相等 。 通 过 分 析 程 序 ， 发 现 溢 界 问题 来 源 于 此 。 在 计算 严 时 ， 应 该 相等 的 情绪 状态 维度 
会 在 浮 点 数 的 末 位 几 个 数字 上 出 现 微小 差别 ， 若 刺激 不 断 出 现 ， 上 述 基 于 HMM 模型 的 情绪 
状态 刺激 转移 过 程 会 不 断 进 行 ， 这 种 微小 差别 就 不 断 被 放大 ， 直 至 出 现 溢 界 。 

这 里 通过 引入 一 个 可 变 的 阐 值 = 来 解决 溢 界 问题 。 若 某 一 种 复合 情绪 类 型 的 刺激 激发 的 
基本 情绪 越 多 ， 则 se 越 小 。 











2E= (1/num) (10-39 ) 
其 中 ，num 是 复合 情绪 类 型 刺激 激发 的 基本 情绪 数量 。 
可 变 的 es 在 某 一 种 复合 情绪 类 型 的 刺激 下 ， 被 赋 为 一 个 选 定 的 值 来 控制 “情绪 状态 近 
似 度 ”。 当 N=3 时 ， 洪 界 问题 及 其 解决 方法 如 图 10-8 所 示 。 
图 10-8 上 图 中 ,在 1=24 时 ， 出 现 溢 界 问题 。 由 于 计算 的 精度 问题 ， 情 绪 状态 维度 1 与 
2 的 值 在 浮 点 数 末 位 几 个 数字 上 出 现 了 微小 差别 ， 进 而 在 后 续 的 计算 中 ， 这 种 差别 被 持续 放 
大 ， 使 得 基本 情绪 1 与 2 的 状态 值 出 错 。 当 加 入 了 可 变 阔 值 e 后 ， 游 界 问 题 被 解决 ， 如 图 
10-8 下 图 所 示 ， 基 本 情绪 1 与 2 的 状态 值 保 持 相等 。 
当 NN=6 时 ,通过 仿真 试验 发 现 ， 出 现 洲 界 问题 的 概率 较 小 ， 这 是 由 于 每 一 个 情绪 状态 
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维度 值 相对 于 N=3 时 都 小 很 多 ， 浮 点 数 计算 时 末 位 较 小 的 差别 被 舍 去 ,情绪 状态 值 都 保持 
在 合理 的 范围 内 ， 因 而 出 现 淤 界 问 题 较 少 。 但 也 应 加 入 可 变 阐 值 =， 保 证 算法 的 稳定 。 

3. 仿真 试验 

设 自 发 转移 初始 情绪 状态 向 量 、 自 发 转移 极限 情感 向 量 和 刺激 转移 极限 情感 向 量 都 为 
[1AN 1AN … 1/AN], 7=1.06。 基 本 情绪 包括 翡 伤 、 人 愤怒 、 恺 届 、 厌 恶 、 碾 视 和 愉悦 六 
种 ， 即 N=6。 下 面 将 以 嫉妒 和 敌意 两 种 复合 情绪 分 别 出 现 后 ， 人 情绪 状态 的 变化 过 程 来 说 明 
上 述 改进 模型 的 有 效 性 。 

在 t=7 时 刻 出 现 嫉妒 类 型 的 刺激 ， 一 直 保 持 到 上 =25 时 刻 ， 撤 销 嫉 妨 类 型 的 刺激 ， 情 绪 
的 变化 过 程 如 图 10-9 所 示 。 

由 于 嫉妒 是 愤 盘 混合 着 悲伤 与 疏 惧 ， 因 此 ,在 上 =7 时 刻 这 三 个 维度 的 基本 情绪 得 到 激 














发 ， 其 他 三 个 维度 受到 抑制 ; 
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随后 ， 嫉 妒 类 型 的 复合 情绪 刺激 并 未 消失 ， 各 基本 情绪 状态 值 


继续 增 大 或 减 小 直至 饱和 ; 在 1=25 es 各 维度 的 基本 情绪 逐渐 恢复 平静 。 
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再 次 ， 设 在 :=7 时 刻 出 现 敌 意 类 型 的 刺激 ， 


时 间 /t 














激 ， 人 情绪 的 变化 过 程 如 图 10-10 所 示 。 


一 直 保持 到 :=25 时 刻 ， 


时 间 /t 


妈 10-9 ”嫉妒 情绪 的 变化 过 程 
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时 间 (b 


图 10-10 敌意 情绪 的 变化 过 程 


撤销 敌意 类 型 的 刺 


由 愤怒 、 厌 恶 和 蕊 视 组 合 起 来 的 复合 情绪 可 叫做 敌意 。 同 样 ， t=7 时 刻 这 三 个 维度 的 


基本 情绪 得 到 激发 ， 其 他 的 三 个 维度 受到 抑制 ; 
在 1=25 时 刻 撤销 刺激 ， 各 维度 的 基本 情绪 逐 


绪 状态 值 继 续 


卖 增 大 或 减 小 直至 饱和 ; 








随后 ， 此 复合 情绪 刺激 并 未 消失 ， 各 基本 情 


渐 恢 复 平 
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静 。 

可 以 看 出 ， 通 过 对 HMM 情感 模型 的 改进 ， 能 够 更 好 地 模拟 复合 情绪 类 型 刺激 出 现 、 保 
持 以 及 撤销 后 情绪 的 变化 过 程 。 

4. 结论 

在 已 有 隐 马 尔 可 夫 情 感 模型 的 基础 上 ， 通 过 减少 假设 条 件 并 引 和 辅助 矩 阵 ， 使 原 有 模型 
产生 复合 情绪 ， 增 加 了 情感 模型 的 普 适 性 。 同 时 ， 可 变 阔 值 为 模型 的 计算 机 实现 提供 了 基 
础 ， 解 决 了 情感 状态 计算 时 的 溢 界 问题 。 

进一步 研究 的 工作 重点 是 改进 基于 HMM 情感 建 模 算 法 ， 使 其 为 在 人 机 交互 过 程 中 更 好 
地 实现 拟人 化 计算 机 情感 合成 与 输出 做 出 理论 贡献 。 


10. 3.2 个 体 情绪 差异 性 


在 情绪 状态 自发 转移 马尔 可 夫 模 型 中 ， 针 对 参数 的 调整 是 否 会 给 个 体 情绪 差异 带 来 影 
响 ， 以 及 影响 的 程度 等 有 关 个 体 情绪 区 分 聚 类 的 问题 ， 提 出 了 基于 度量 多 元 尺度 分 析 理 论 的 
个 体 人 工 情绪 差异 性 研究 方法 。 通 过 不 相似 度 矩 阵 计 算 内 积 和 矩阵 ， 再 应 用 主 成 分 因素 分 析 
法 ， 便 可 得 到 个 体 属性 重 构 和 矩阵， 在 低 维 上 展现 个 体 情绪 差异 。 试 验 结 果 可 以 用 来 指导 模型 
参数 的 选取 ， 并 为 实验 的 有 效 性 提供 了 数学 验证 的 依据 。 

情绪 状态 自发 转 过 程 ， 即 个 体 的 情绪 自发 转移 差异 ， 取 决 于 矩阵 A4， 因 此， 参数 9 和 
元 "的 确定 ， 是 对 个 体 差异 研究 的 关键 。 基 于 多 元 尺度 分 析 ， 依 次 研究 以 下 三 个 问题 : @ 参 
数 9 和 元 * 的 变化 是 否 一 定 引起 个 体 情绪 自发 转移 差异 ; @ 参 数 的 变化 引起 什么 样 的 个 体 情 
绪 差 异 ; 国情 绪 状 态 初 值 玉 的 影响 。 下 面 分 别 加 以 详 述 。 

1. 对 问题 1 的 分 析 

上 述 情感 状态 自发 转移 的 马尔 可 夫 链 模型 中 ， 人 情绪 强度 内 是 情绪 变化 的 一 个 重要 度量 。 
情绪 强度 定义 为 





























1 
N 
并 把 pz) 称 为 某 一 时 刻 ! (zt>0) 的 情绪 强度 。 当 pW >0 时 ,情绪 i 处 于 激发 状态 ; 
pW <0 时 ， 情 绪 i 处 于 抑制 状态 ; pW =0， 情 绪 i 处 于 平衡 状态 。 但 pW 只 是 一 个 情绪 变化 的 
静态 特征 ， 要 动态 的 反应 个 体 情绪 差异 ， 则 要 计算 情绪 强度 变化 率 向 量 A PO = 
[Ap Ap … Ap 名 ]， 其 中 第 : 维 情绪 强度 变化 率 Ap 为 


Pia 一 已 一 bs t=1,2;" ,NN (10-40) 
































Ap = pa Pa | - Ce = pp (1041) 
(t+1)-t 人 
设 情绪 强度 变化 率 向 量 在 确定 时 刻 7 的 值 记 为 AP? = [Ap Ap 和 … Ap 如]， 取 
7 = 5; 情绪 自发 转移 过 程 中 的 最 大 情绪 强度 变化 率 向 量 为 MAXAP" = 
[Ap mx {Ap } … max {ApW】]， 平 均 情绪 强度 变化 率 向 量 为 MEANA 


ee (2) (1) ts (2) Ss 
| mean {Apws }| ，7; =50 是 情绪 自发 转移 过 程 


0<1< Tna 0<1<Tpna 
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的 最 大 时 长 。 

在 情绪 自发 转移 过 程 中 ， 个 体 情绪 差异 可 以 用 A P 2、MAXA P 人 和 MEANAP 人 三 个 向 
量 组 成 一 个 维度 为 3N 的 行 向 量 来 区 分 。 即 个 体 i 的 属性 向 量 为 
ATTRIBUT = [ADD MAXAPY MEANAP™] 








针对 问题 1， 假 设 参数 9 和 元 * 中 有 且 仅 有 一 个 参数 发 生变 化 ， 研 究 该 参数 对 给 个 体 差 异 
变化 带 来 的 影响 。 由 于 六 77 =1 is {1，2，…， NN] 线 性 相关 ， 所 以 仅 讨论 9、zr? 和 也 
的 变化 组 合 就 可 以 了 。 它 们 的 变化 组 合 见 表 104。 

表 10-4 参数 0 和 7 "的 组 合 





所 有 组 合 数 1 2 3 4 $ 6 7 8 9 
0 I U D U U U U U U 
7 U U U I U D U U U 
Ly U U U U U U I U D 

最 终 组 合 数 1 2 3 4 x 5 6 x 7 


表 104 中 , I (Increasement) 表示 该 数值 增 大 ，D (Decreasement) 表示 该 数值 减 小 ，U 
(Unchanged) 表示 该 数值 不 变 。 由 于 组 合 中 存在 重复 ， 因 此 969、7; 和 7) 的 最 终 变化 组 合 为 
L=7 种 ， 即 研究 7 个 差异 个 体 。 结合 前 面 所 述 的 个 体 的 属性 向 量 ATTRIBUT， ie 
{1，2，…，7}， 可 以 建立 个 体 属 性 矩阵 为 

ATTRIBUT =[ATTRIBUT， ATTRIBUT, … ATTRIBUT, ] '。 

这 里 取 情 绪 的 维度 N=3， 则 ATTRIBUT, 是 一 个 9 维 行 向 量 。 根 据 度量 多 元 尺度 分 析 理 

论 ， 在 个 体 属性 矩阵 的 基础 上 ， 构 建 不 相似 度 矩 阵 4A、,。A 中 的 元 素 6; 为 
6; =d; =[ (ATTRIBUT, - ATTRIBUT,) ( ATTRIBUT, - ATTRIBUT,)’]” 





























=[ 3 (ATTRIBUT, - ATTRIBUT,)’”] (10-42) 
大 
再 计算 内 积 和 矩阵 矿 ， 其 元 素 y; 为 
yy= -0.5x(6; -6 -6 +6..) (10-43 ) 
其 中 
1 
5 =— 38 
i L > y 
pop 1 2 
6.; = 2 
1 
2 





把 个 体 属性 矩阵 在 低 维 空间 上 的 重 构 和 矩 阵 记 为 QM <3N)。 其 表示 的 个 体 不 相似 度 
矩阵 记 为 D， 则 根据 度量 多 元 尺度 分 析 理 论 ，A 与 D 在 某 种 意义 上 近似 。 且 有 

T=00 (10-44) 

求解 式 (1044) ， 可 在 低 维 空间 上 得 到 个 体 属 性 重 构 和 矩阵 0, 即 个 体 差 蜡 可 以 在 低 维 空 
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间 被 表示 出 。 
同时 ， 还 可 求 出 个 体 























属性 重 构 和 矩阵 第 7 维 对 应 的 特征 
N= 
介 的 元 素 值 。 试 验 中 得 到 的 一 组 特征 值 随 维度 变化 曲线 如 图 10-11 所 示 。 


x10-3 








值 Aj: 
(10-45 ) 


是 


人 
其 中 ， Os 





T Th I T 长 T 中 T 
X:1 
Y:0.0064 








特征 值 


X:2 
YY:0.0020 




















2 上 J 
1 X:3 
| Y:0.0005 | 
X:5 X:6 
Y:0.0000  Y:0.0000 YY:0.0000| 
0 1 | LL 1 
1 :5 之 25 3 33 4 4.5 3 和 6 
维度 
图 10-11 特征 值 随 维度 变化 曲线 

















根据 图 10-11， 个 体 属 性 向 量 ATTRIBUT, 可 以 由 原始 的 9 维 降 到 3 维 ， 而 几乎 不 失真 地 
加 以 表示 。 由 于 当 维度 为 3 时 ， 特 征 值 已 经 较 小 ， 因 此 ， 还 可 以 进一步 降 到 2 维 空间 来 表示 
个 体 差异 。 个 体 属性 在 2 维 空间 的 重 构 如 图 10-12 所 示 。 




















图 10-12 中 的 数字 是 与 表 10-4 参数 最 终 组 合 数 序号 相对 应 的 。 从 图 中 可 以 看 出 ， 点 1、 
0.03 T T T T T T T T 
。X:-0.0434 
Y:0.02487 X:0.0368 
0.02- 4 Y:0.01835 。] 
X:0.007691 7 
0.01 上 上 X:0.004377 立 0.001529 于 
Y:0.0005684 
X:0.001428 9 
= oF Y-0.0008798 一 。 1 
3 
-0.01 上 - 
5 
-0.02F Xx:-0.04297 X:0.03589” 
© Y-0.02524 Y:—0.0192 
0.03 | | | | | | | | 
0.05 -004 -003 -0.02 -001 0 001 002 003 0.04 
I 
图 10-12 7=5 时 个 体 属性 重 构 图 
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2 和 3 (分 别 对 应 于 9 值 的 I、U 和 D 的 三 种 取 值 ) 之 间 的 距离 较 近 ， 说 明 9 值 的 变化 只 能 
引起 个 体 情绪 自发 转移 的 少许 差异 ， 即 改变 9 对 于 个 体 情绪 自发 转移 的 差异 性 贡献 较 小 ; 点 
4、5、6 和 7 (分 别 对 应 于 x7 和 7 值 的 1 和 D 的 各 两 种 取 值 ) 间 的 距离 较 远 ， 说 明 rr 和 
过 值 的 变化 能 够 引起 个 体 情绪 自发 转移 的 较 大 差异 ， 即 改变 zr; 或 7 对 于 个 体 情绪 自发 转 
移 的 差异 性 贡献 较 大 。 

2. 对 问题 2 的 分 析 

对 于 问题 2， 由 于 9 值 的 变化 只 引起 个 体 情绪 自发 转移 的 少许 差异 ， 可 以 忽略 ， 因 此 ， 
仅 讨论 参数 zf 入 值 的 变化 引起 何 种 个 体 情绪 差异 ， 即 只 讨论 点 4、5、6 和 7。 

图 10-13 中 ， 维 度 代表 情绪 强度 变化 率 向 量 APS 的 第 一 个 维度 Apgo ， 维 度 工 代表 情 
绪 强度 变化 率 向 量 A PU 的 第 二 个 维度 Ap 名 。 点 4 和 点 7 在 维度 1 上 有 较 大 差距 ， 在 维度 
I 上 差距 不 大 ; 点 4 和 点 6 则 相反 。 其 余 点 类 似 ， 它 们 的 相互 关系 如 图 10-13 所 示 。 


对 维度 工 无 影响 
ee 
| 二 


Point5:x1*=D=x1*—pB 
















RAN 
Point6: m=I=72*+ @ 
Point7:m*=D=7>*—B 











人 工 无 影响 





图 10-13 ”参数 调整 对 个 体 情绪 差异 在 不 同 维度 上 的 影响 














下 面 结合 点 4、 点 6 和 点 7 讨论 出 现 这 种 情况 的 原因 。 
根据 式 (104) 和 式 (1041) 


ABCD =|P"*! -Pl=|P .A-P|=|P'.(A-1)|=P'. (1-A) (10-46) 








因为 N=3 
1 -a Qi Q13 
所 以 AP =[p ps ps] | a 1-ay a 
Qa a 1-as 
所 以 Ap =p (1 a) +p a +py * aa (10-47) 


a) 对 于 表 10-4 的 组 合 4, 和 = [Ti +a 7， 7， -aol。 由 式 (10-47) 得 





(1+1) 1 O(n +a) -— y 1 
Apia a* =[rr+a my -ol Pr" | 一 本 十 P2 Pp3 
0(7, +a) 07 0(7, -Qa) 
, 2 1 
-i Pp2 -Th3 (10-48) 
OCT +a) On, 0(7, —a) 
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b) 对 于 表 104 的 组 合 6, 7 =[7 7, +a Ts -aol。 由 式 (10-47) 得 





07, -2 1 1 
ApCz) 园 =p' < | 1 十 万 一 一 一 一 + 甩 Pe 
1 nm*=| 7 Try +a 73 -a i sk Co 本 3 生 
: [™ el 07, ? 0(7, +a) 0(7, -a) 
也 2 ] ] 
三 凡人 > » tp»* t+p3 ”人 人 (10-49 ) 
O7r， 0(7, +a) 0(7, -a) 


c) 对 于 表 10-4 的 组 合 7, 有 = [7 7, -B 7; +B]。 由 式 (1047) 得 








Or -2 1 1 
Ap 人 CD) 医 | = 也 | 1 十 甩 +p 
14 m*=[n npB ne 十 Ee 要 2 四 入 本 
下 On 6(77 -B) o(m: +B) 
Ny 1 , 1 
=p1 " » +p» 3 (10-50) 





. 十 . 
Om b(Ty -有 ) 0C7; +B) 
设 ry =zy = =7'， 根 据 式 (1048)、 式 (1049) ， 可 得 点 4 和 点 6 在 维度 工 上 的 
差距 为 


(t+1) (1+1) 
[Ap Ee +a ny -a] -Apia 元 * =[ 万 十 Q wa -| 


-2Ppia P2a a 














es 和 一 人 -2 (10-51 ) 
On, CT， +a) On, CT， +a) 07.(7. +a) 


点 4 和 点 7 在 维度 [上 的 差距 为 


(t+1) (1:+1) 
[Ap 元 * = [7T +a ny 3 -a] — Apia 元 * = [7T 7 -8 3 | 








-2p1B -psB p3(a+p) ps 
O07.(7. +ta) Or.(7.-B) 0(7. -a)(7. +B) 
; CH se a ii A Ct a 
因为 |Apis m*=[7] ta 7 Ta -oj Apia [a 727 +a 73 -a] | 
< |ApiA Barcarte mr 二 -一 Ap Bectnr sp nr +g] | (10-53) 


所 以 ， 点 4 和 点 6 在 维度 [上 的 差距 小 于 点 4 和 点 7 在 维度 1 上 的 差距 。 

可 以 看 出 ， 以 上 推导 与 确定 时 刻 7 了 的 选取 无 关 ， 图 10-14 中 的 “ ”是 7=21 时 的 个 体 
属性 重 构 图 。 可 以 看 出 ， 确 定时 刻 改变 后 ， 重 构 效 果 未 变 ， 说 明 上 述 结论 具有 代表 性 。 

综 上 ， 当 参数 7 和 7, 分 别 同 向 增 大 或 减 小 时 ， 引 起 个 体 情绪 差异 在 情绪 强度 变化 率 
向 量 第 一 个 维度 上 的 变化 较 小 ; 反之 ， 当 参数 mm 和 7, 分 别 异 向 增 大 或 减 小 时 ， 引 起 个 体 
情绪 差异 在 情绪 强度 变化 率 向 量 第 一 个 维度 上 的 变化 较 大 。 

3. 对 问题 3 的 分 析 

对 于 情绪 状态 初 值 P' 的 影响 ， 仅 进行 了 5 次 试验 。 改 变 情绪 状态 初 值 ， 个 体 属 性 重 构图 
也 几乎 未 发 生 大 的 变化 。 图 10-14 中 “ 口 ” 是 其 中 的 一 次 重 构 效果 。 说 明 在 情绪 状态 自发 转 
移 过 程 中 ,情绪 状态 初 值 的 设 定 对 个 体 情绪 差异 没有 较 大 影响 。 这 与 常识 是 符合 的 ， 因 为 个 
体 的 情绪 差异 是 内 在 的 、 本 质 的 ， 是 不 随 初始 情绪 状态 变化 的 。 

4. 结论 

通常 认为 情感 模型 中 的 参数 调整 是 影响 模型 输出 变化 的 诱因 ， 但 这 种 调整 是 否 一 定 能 够 
引起 个 体 情 绪 差异 ， 以 及 对 个 体 情绪 差异 影响 的 程度 是 值得 探讨 的 。 本 部 分 针对 情绪 状态 自 
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-0.005 上 
-0.010 上 
-0.015 


@@ 7=21 品 
-0.020 上 口 P10=0.2 P20=0.1 P30=0.7 
1 


-0.025 1 1 上 1 上 1 
0.05 0.04 -0.03 -0.02 -0.01 0 0.01 0.02 0.03 0.04 
I 


图 10-14 了 =21 时 ,情绪 状态 初 值 改变 后 的 个 体 属性 重 构 攻 
































发 转移 马尔 可 夫 模 型 ,研究 了 不 同 参 数 代表 的 个 体 情绪 差异 。 结 果 表明 ，9 值 的 变化 只 能 引 
起 个 体 情绪 自发 转移 的 少许 差异 ，7“ 值 的 变化 能 够 引起 个 体 情绪 自发 转移 的 较 大 差异 。 参 
数 7， 和 分 别 同 向 增 大 或 减 小 时 ， 引 起 个 体 情 绪 差异 在 情绪 强度 变化 率 向 量 第 一 个 维度 
上 的 变化 较 小 ; 反之 ， 当 参数 mr 和 7; 分 别 异 向 增 大 或 减 小 时 ， 引 起 个 体 情绪 差异 在 情绪 
强度 变化 率 向 量 第 一 个 维度 上 的 变化 较 大 。 在 情绪 状态 自发 转移 过 程 中 ， 情 绪 状态 初 值 的 设 
定 对 个 体 情绪 差异 影响 不 大 。 


10. 3.3 实用 性 


人 与 机 器 人 的 交互 过 程 中 ， 情 感 因 素 的 引入 能 够 使 人 机 交互 更 加 自然 和 谐 。 因 此 ， 完 整 
的 人 工 情感 模 型 的 建立 是 首要 解决 的 问题 。 基 于 情感 能 量 理论 基础 ， 本 部 分 首先 ， 提 出 了 心 
境 自 发 转移 和 刺激 转移 模型 。 其 次 ， 结 合 情 绪 自发 转移 的 马尔 可 夫 链 模型 和 刺激 转移 的 
HMM 模型 ， 将 心境 和 情绪 的 自发 转移 和 刺激 转移 过 程 统 一 在 一 个 框架 下 。 最 后 ， 将 完整 的 
人 工 情感 模 型 软件 化 并 应 用 于 儿童 玩 伴 机 器 人 上 ， 在 接受 非 结构 化 环境 与 用 户 的 信息 输入 
后 , 个 性 化 的 情感 软件 模块 产生 输 
出 ， 实 现 针对 儿童 用 户 的 玩 伴 机 器 
人 个 性 化 交互 ， 并 通过 应 用 验证 了 
该 模型 的 有 效 性 。 

1. 个 性 化 情感 模型 研究 基础 

由 于 情感 可 划分 为 心境 
(Mood) 和 情绪 (Emotion) 两 个 广 
泛 的 分 类 ， 因 此 其 转移 过 程 在 不 同 
条 件 下 可 分 为 4 种 ， 如 图 10-15 所 
示 。 图 10-15 ”心境 与 情绪 状态 转移 图 
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图 10-15 展现 了 4 个 过 程 : 

1) 情绪 状态 刺激 转移 :在 外 部 事件 刺激 下 ， 情 感 状态 由 心境 的 动态 平衡 状态 移 到 某 种 
激发 水 平 的 情绪 激发 状态 ， 由 A 线 表示 ，; 

2) 情绪 状态 自发 转移 ， 当 外 界 刺激 作用 结束 后 ， 某 种 情绪 状态 将 在 一 定时 间 内 由 激发 
状态 自发 地 转移 到 心境 的 动态 平衡 状态 ， 由 B 线 表示 ; 

3) 心境 状态 刺激 转移 ;在 某 种 特异 性 外 部 事件 刺激 下 ， 心 境 状 态 在 以 心境 的 动态 平衡 
状态 为 中 心 的 一 定 范围 内 发 生 转 移 ， 由 C 线 表示 ; 

4) 心境 状态 自发 转移 : 在 外 界 刺激 消失 后 ， 某 种 心境 激发 状态 将 在 一 定时 间 内 自发 地 
向 心境 动态 平衡 状态 转移 ， 由 D 线 表示 。 

综合 上 述 ，4 个 过 程 分 别 对 应 玩 伴 机 器 人 中 的 4 个 个 性 化 情感 模型 : 

1) 情绪 状态 刺激 转移 过 程 的 随机 过 程 模型 ; 

2) 情绪 状态 自发 转移 过 程 的 马尔 可 夫 链 模型 ; 

3) 心境 状态 刺激 转移 过 程 的 控制 论 模型 ; 

4) 心境 状态 自发 转移 过 程 的 动态 平衡 模型 。4 个 模型 相辅相成 ， 在 4 个 过 程 中 共同 作 
用 。 它 们 具有 一 致 的 理论 基础 。 在 心理 学 中 心理 能 量 观点 的 基础 上 ， 腾 少 冬 提出 了 情感 能 量 
的 概念 ， 成 为 建立 个 性 化 情感 模型 的 出 发 点 和 基础 。 

心理 能 量 就 是 推动 个 体 进行 各 种 心理 活动 以 及 行为 的 能 力 ， 用 表示。 它 有 两 种 基本 
表现 形式 : 

1) 自由 的 心理 能 量 5,; 

2) 受 约束 的 心理 能 量 E,。 它 们 满足 




















oo 


E,=AE,E, =nE,n+A=1 (10-54) 

则 情感 能 量 可 以 用 式 (10-55) 表示 ， 即 
E,=E, +yE,=(1-A)E+yAE=(1-A+yA)E (10-55) 
同时 , 设 E,=[，B,，…，bkw] 为 t 时刻 实际 表现 出 的 情感 强度 的 绝对 分 布 向 量 。 





此 向 量 的 求解 在 后 面 介绍 。 
根据 巴 甫 洛 夫 高 级 神经 学 说 ， 由 于 生理 的 原因 ， 人 的 大 脑 神经 细胞 在 兴奋 与 抑制 两 种 状 
态 之 间 按 一 定 的 生理 机 制 呈 周 期 性 的 变化 ， 伴 随 着 这 种 变化 ,个 体 的 意识 状态 也 将 在 清醒 与 
不 清醒 之 间 进 行 转化 ， 从 而 使 得 情感 能 量 ,在 表达 时 ， 呈 现 出 周期 性 的 变化 。 把 由 
Er =ak,=a(l -A+yA)E (10-56) 





定义 的 情感 能 量 称 为 生理 性 激活 的 情感 能 量 ， 它 是 实际 用 于 表现 情绪 的 情感 能 量 ， 称 
a(0 友 wa 反 1 ) 为 生理 性 唤醒 度 。 把 由 式 





Es =BE, =B(1 -A +yAE (10-57) 
定义 的 情感 能 量 称 为 生理 性 抑制 的 情感 能 量 ， 它 是 用 于 表现 心境 的 情感 能 量 ， 称 
B(0<B1) 为 生理 性 抑制 度 。 且 有 





a+B=1 (10-58) 
a 和 8 主要 由 生理 机 制 进行 周期 性 的 调节 ， 即 “生物 钟 ”的 调节 。 另 外 ，aw 和 8B 还 会 受 
到 某 些 外 界 刺激 的 干扰 。 心 理 能 量 以 及 情感 能 量 的 各 种 形式 以 及 转化 关系 如 图 10-16 所 示 。 
从 动力 心理 学 的 观点 来 看 ， 个 体 产生 各 种 不 同情 绪 的 过 程 ， 实 际 上 就 是 激活 的 情感 能 量 
所 在 不 同情 绪 状 态 之 间 的 动态 分 配 过 程 ， 图 10-16 的 左下 半 部 分 反映 了 这 样 的 关系 。 
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定律 ， 有 下 式 成 立 : 


Qt 
FE, » 


，Pov] 为 上 上 时刻 
…, NN) 是 激活 的 情感 








生理 性 抑制 的 情感 能 量 用 在 积极 心 
如 图 10-16 的 右 下 半 部 分 所 示 。 
相应 地 ， 称 E? =[ EE8 


N 


a 

















dt 
头 
后 
月 E 


pi 


上 且 . 


10-16 ”情感 能 量 的 各 种 形式 以 及 转化 关系 图 


际 表现 的 情绪 强度 绝对 分 布 向 量 
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境 与 消极 心境 之 间 变 化 ， 由 其 引起 的 心境 弹 


| 
的 能 量 值 分 量 。 根 据 情感 能 量 





(10-59) 


品 
上 





度 变 化 





Ey ，…，Ehw] 为 1 时 刻 实际 表现 的 心境 强度 绝对 分 布 向 量 ， 并 
设 与 积极 情绪 对 应 的 心境 个 数 是 m， 与 消极 情绪 对 应 的 心境 个 数 是 wn， 则 m +n =N。 其 中 ， 
Bt 
+ 一 条件 1 
m 
En = jp ， 条 件 1 是 指 分 量 i 属 于 积极 心境 ; 条 件 2 是 指 分 量 i 属 于 消极 心境 。 
-一 -条件 2 
M6 为 1 时 刻 的 心境 强度 ， 其 计算 方法 在 后 面 介 绍 。 
|gr|e[0, 1], ie 11, 2, …, NI 是 生理 性 抑制 情感 能 量 在 各 维度 上 的 能 量 值 分 
量 。 根 据 情感 能 量 守 恒定 律 ， 有 下 式 成 立 : 
把 
> IE l= (10-60) 
i=1 
设 0<E% <1， -1<E<1, 并 定义 了 3 种 运算 : + ~ , A。 其 中 ， 十 ， -运算 和 实 
数 域 尺 中 的 加 法 和 减法 运算 相似 ， 但 加 法 不 具有 交换 律 性 质 。 即 VE ee[0, 1], Ee 
[ -1, 1 时 ，E% +E% 关 bh +E%。A 运算 定义 为 
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1 Es +Eh>1 


Es + En; 0O<E” + ES <1 





ACEo Bo ) 
Eo -Es 0< 有 一 本 <1 
0 Be -有 <0 
由 于 情感 可 划分 为 心境 和 情绪 ， 则 上 时 刻 的 情感 强度 定义 为 
E,=[E,, EB; Sy En =A(C[Eo ， De 四 Eo ] ， LE: Ee ， “', Ey | ) 
=[A(En, En), A(Es, Em), *, A(Em, Epn)] (10-61) 


由 式 (10-61) 可 知 ,t 时 刻 的 情感 强度 与 心境 强度 和 情绪 强度 有 关 ， 根 据 上 述 的 4 个 转 
移 过 程 ， 它 们 的 求解 在 下 面 将 分 别 进行 介绍 。 

2. 心境 自发 转移 

Larsen 认为 ,平均 的 、 稳 定 的 心境 特征 并 没有 真实 地 反映 个 体 的 心境 特征 ， 心 境 随 着 时 
间 的 推移 ， 其 性 质 (好 或 不 好 ) 以 及 强度 ( 弱 或 极度 ) 是 变化 的 。Parkinson 认为 与 心境 动 
态 性 有 关 的 理论 有 动态 平衡 理论 、 社 会 牵引 理论 和 非 线性 动态 理论 。 并 把 影响 心境 的 因素 分 
为 三 类 ， 其 中 之 一 来 自 个 体内 源 性 因素 ， 如 人 格 和 生理 因素 。 这 里 的 心境 自发 转移 模型 就 是 
从 个 体内 源 性 角度 建立 的 。 

(1) 人 格 对 心境 的 影响 

对 不 同 的 人 而 言 ， 所 体验 到 的 心境 可 能 不 同 ， 换 句 话 说 存在 着 个 体 差异 ， 这 种 差异 来 自 
于 相对 稳定 的 人 格 。 同 时 ， 人 格 特征 又 决定 了 心境 水 平和 心境 变化 性 ， 心 境 自发 地 在 相对 稳 
定 的 心境 特征 水 平 附近 波动 ， 我 们 用 C 表示 由 人 格 决 定 的 心境 特征 水 平 ， 如 图 10-16 右 下 部 
分 的 横 线 描述 。 由 多 种 因素 的 影响 ，C 在 积极 消极 分 界线 左右 一 定 范围 内 变动 ， 假 设 
Ce[-1，+1]。 

(2) 生理 因素 对 心境 的 影响 

个 体 的 生理 性 周期 变化 会 引起 心境 在 积极 与 消极 之 间 随 时 间 上 的 变化 而 有 所 波动 。 

1) 心境 的 昼夜 波动 : 根据 Watson 的 研究 ， 积 极 心 境 在 一 天 中 的 趋势 是 早上 较 低 ， 而 后 
在 一 天 中 的 某 个 时 间 上 升 到 最 大 值 ; 接着 逐渐 下 降 ， 在 晚上 达到 最 低 。 此 过 程 用 一 余弦 函数 
ccos (wi * 1) 表示 。 其 中 ，ce 是 心境 的 展 夜 影响 因子 ，2m/ow; 是 心境 的 昼夜 波动 周期 。 

2) 心境 的 周 变化 : 根据 Larsen 与 Kasimatis 的 研究 发 现 ， 具 有 正弦 波 的 7 天 间隔 解释 了 
日 常 心境 的 变化 。 积 极 心境 在 周 五 达到 顶峰 ， 在 周二 处 于 最 低 。 此 过 程 用 一 正弦 函数 Vsin 
(w，* t) 表示 。 其 中 ，: 是 心境 的 周 变化 影响 因子 ，2m/ow; 是 心境 的 周 变化 周期 。 

3) 心境 的 月 变化 : 主要 是 针对 女性 的 月 经 周期 循环 的 心境 效应 ， 因 此 ， 此 项 对 心境 的 
影响 是 个 性 化 的 ， 具 有 性 别 差 异 。 此 过 程 用 一 正弦 函数 rsin (w* 1) 表示 。 其 中 , 7 是 心 
境 的 月 变化 影响 因子 ，27/w; 是 心境 的 月 变化 周期 。 

4) 心境 的 季节 变化 : Watson 认为 在 理论 上 积极 情感 应 该 有 一 个 显著 的 季节 模式 。 春 季 
的 积极 心境 水 平 较 高 ， 接 着 在 夏季 和 秋季 逐渐 下 降 ， 最 终 达 到 冬季 的 最 低 点 。 此 过 程 用 一 正 
弦 函 数 vsin (wt) 表示 。 其 中 , v 是 心境 的 季节 变化 影响 因子 ，2m/ows 是 心境 的 季节 变化 
周期 。 

根据 以 上 周期 性 变化 ， 有 oo, ,7T, ve[0, 1j, ++T+UVU=1，wl=7w =30w; = 
365ws。 对 于 男性 用 户 , 取 o=0.7, 5 =0.2,， 7 =0, v=0.1; 对 于 女性 用 户 , 取 o =0.5， 
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C=0.2, 7=0.2, v=0.1。 由 于 心境 的 变化 缓慢 日 某 一 心境 常 沼 能 持续 一 段 时 间 ， 因 此 ， 这 
里 每 隔 1h 计算 一 次 心境 量 值 ， 心 境 的 异 夜 波动 模型 中 ， 周 期 取 24h， 则 wi =2m7/24。 

人 格 和 生理 因素 对 心境 的 动态 变化 共同 产生 影响 ， 设 心境 的 人 格 影响 因子 为 wy， 心境 的 
生理 因素 影响 因子 为 E， 且 有 

el(0,1),Ees(0,1)+E=1 (10-62 ) 

建立 的 心境 自发 转移 模型 为 

1 =E [ocos(wi :1t) +Csin(os * 1) +Tsin(wos 1) +usin(os *t)] + *C (10-63 ) 

M6 动态 变化 范围 的 确定 : 








因为 
ocos(w ‘it)el -oo,+o)] 
Csin(w, * 1) el 一 人 + 
Tsin(w3 * 1)el —7,+7] 
vsin(w ‘1)e[ ~v,+v] 
所 以 
Leeos(w * 1) +éisin(w, * 1) +7sin(ws * 1) +vsin(w * 1)] 
e[(-o-l-7r-v),(+0o+L+7T+v)] 
=[ (g++7+v),(0 + +7+v)] 
=[ -1,1] 
因为 Ce [-1, +1] 
所 以 


Ms e[( -Ey), (EtY)] =[ (EtY), (E+y)1=[ -1,+1] (10-64) 

这 里 取 y=0.5, 上 =0.5。 

以 上 参数 中 ，w;,， ie 11, 2, 3, 41 取 值 较 大 时 ， 相 应 的 生理 性 周期 变化 引起 的 心境 
随 着 时 间 :的 波动 周期 越 小 ， 即 心境 变化 性 越 强 。 

3. 心境 刺激 转移 

在 外 部 因素 事件 和 情境 刺激 下 ， 心 境 和 情绪 都 受到 影响 ， 但 其 变化 过 程 是 有 差别 的 : 第 
一 ， 持 续 时 间 上 的 差别 ; 第 二 ， 相 对 强度 上 的 差别 ; 第 三 ， 信 和 号 功能 上 的 差别 。 如 前 所 述 ， 
对 于 情绪 受到 刺激 后 的 变化 过 程 ， 利 用 HMM 这 个 双重 随机 过 程 来 构造 情绪 状态 刺激 转移 过 
程 的 情感 模型 ， 用 HMM 的 前 向 和 后 向 算法 来 模拟 情绪 在 外 界 刺激 下 的 变化 规律 ， 这 一 方法 
在 后 面 将 会 介绍 ; 对 于 心境 受到 刺激 后 的 变化 过 程 ， 则 采用 控制 论 的 调整 策略 进行 研究 。 

Larsen 提出 应 将 控制 理论 应 用 到 心境 调节 的 动态 过 程 中 。 根 据 此 观点 对 心境 的 刺激 转移 
过 程 建 模 。 

根据 已 有 研究 ， 心 境 对 刺激 的 反应 强度 是 略微 平缓 的 ， 一 阶 惯性 环节 更 适合 描述 。 

定义 心境 的 刺激 转移 模型 为 




















TN + MP = E(t) (10-65) 

其 中 ,7 称 为 心境 转移 时 间 常 数 ， 它 是 表征 心境 发 生 转 移 惯性 的 一 个 重要 参数 。 有 研究 
发 现 ， 女 性 可 能 比 男性 更 容易 受 情绪 传染 或 影响 ， 因 此 ，7 参数 也 是 男女 性 别 差 异 对 心境 的 
影响 参数 之 一 ， 是 个 性 化 参数 。 后 面 将 会 介绍 此 参数 对 心境 激发 子 过 程 的 影响 。E.(1) 是 
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外 源 性 因素 ( 如 工作 方式 、 生 活 事件 、 家 中 变故 等 ) 对 心境 的 影响 强度 。 
心境 的 刺激 转移 过 程 分 为 两 个 子 过 程 。 
(1) 心境 激发 子 过 程 
该 子 过 程 与 一 个 零 状态 响应 过 程 类 似 。 假 设 心境 在 1 时 刻 受 某 一 外 源 性 因素 激发 时 ， 心 
境 强度 初 值 为 Mr" e [ -1，+1] ， 则 事件 影响 强度 为 
1 -M6® event 为 积极 情绪 事件 
Ent) = (10-66 ) 
| -1 -Mo event 为 消极 情绪 事件 
在 此 条 件 下 ,求解 式 (10-65) 表示 的 心境 刺激 转移 模型 。 
LL[TM? + Me = E(t)] 
>T(sMe -NB ) + Me = Es) 
一 了 ( 3 —0)+ Me = 无 (3s) 


S E(t) 
S(T +1)M =— 
5 





(10-67) 








En (区 1 
MS’ 天 event 
(Ts +1) 
En (t) 1 
所 以 MP 三 1 evenl 5 
3 (Ts+1) 


= 人 (iD [1-e  …] 

其 中 , 工 [ ,7 ”[…] 分 别 为 拉 普 拉 斯 变换 和 反 变 换 。 

根据 心理 学 中 情绪 反应 的 时 间 动 力 性 基本 概念 ， 可 以 定义 心境 中 相应 的 概念 。 

称 7. 为 心境 反应 调节 时 间 ，7., =47。 这 个 参数 表达 了 心境 从 初始 强度 M" 变化 到 
-0.98 或 +0.98 ( -1 或 +1 的 +2%) 的 最 短 时 间 。 

称 7 为 心境 反应 延迟 时 间 ，7 守 0. 697。 这 个 参数 表达 了 心境 从 初始 强度 Mi" 第 一 次 达 
到 (1t) x50% 所 需 的 时 间 。 

称 7 为 心境 反应 上 升 时 间 ，7, =2. 207。 此 参数 表达 了 心境 从 强度 Mo" + E(t) x10% 
第 一 次 上 升 达 到 M+ ,i(t) x90% 所 需 时 间 (event 是 积极 情绪 事件 ) ， 或 从 强度 M0? + 
E(t) x10 儿 第 一 次 下 降 达 到 Mr? + E(t) x90% 所 需 时 间 (event 是 消极 情绪 事件 ) 。 

根据 上 述 的 三 个 定义 ， 可 以 看 到 心境 反应 调节 时 间 的 快慢 ， 心 境 反应 延迟 时 间 和 心境 反 
应 上 升 时 间 的 长 短 ， 包 含 了 重要 的 个 体 差 异 信息 。 这 三 个 值 都 与 心境 转移 时 间 常 数 7 了 有 关 。 
因此 ,7 参数 是 男女 性 别 差异 对 心境 产生 影响 的 参数 之 一 ， 是 个 性 化 参数 ， 其 大 小 对 心境 激 
发 子 过 程 是 有 影响 的 。 

图 10-17a 是 当 7 了 =0.5 和 7=0.9, E(t) =1 时 的 心境 激发 子 过 程 。 从 图 中 可 以 看 出 ， 
心境 反应 调节 时 间 、 心 境 反应 延迟 时 间 和 心境 反应 上 升 时 间 均 不 同 ， 反 映 了 男女 性 别 差 异 对 
心境 的 影响 。 

心境 强度 M6 在 某 一 外 源 性 因素 的 持续 激发 下 不 断 变 大 ， 表 现 出 了 事件 的 影响 随时 间 的 
积累 作用 。 但 其 变化 率 却 不 断 变 小 ， 即 影响 随时 间 变 小 ， 表 明了 心境 在 某 一 特定 时 间 刺 激 
下 ， 越 来 越 不 敏感 ， 对 此 事件 的 发 生变 得 麻木 ， 如 图 10-17b 所 示 。 
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心境 强度 (%) 























心境 强度 变化 率 














250x0.02 





图 10-17 ”心境 激发 子 过 程 与 强度 变化 率 
a) 心境 激发 子 过 程 b) 强度 变化 率 
(2) 心境 衰减 子 过 程 
该 子 过 程 与 一 个 零 输入 响应 过 程 类 似 ， 出 现在 心境 激发 子 过 程 之 后 。 假 设 在 1 时 刻 外 源 
性 因素 对 心境 的 影响 消失 (1) =0， 消 失 时 的 心境 强度 初 值 为 Mi"e[ -1，+1]。 

在 此 条 件 下 ， 求 解 式 (10-65) 表示 的 心境 刺激 转移 模型 。 

L[T MS + Me =E..,(t)] 

ST(sM -Mpao) + MS =0 

(Ts +1)Ms = TM 


3 t 1 
SM = TM .一 
(Ts+1) 














(10-68) 
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所 以 


其 中 , 了 [7 


Me =L 


-| TWP" . 





” (Ts+1) 











[…] 分 别 是 拉 普 拉 斯 变换 和 反 变 换 。 





为 了 便于 计算 机 实现 心境 刺激 转移 模型 ， 需 要 求解 微分 方程 式 〈10-65) 的 差分 方程 形 





根据 式 (10-65)， 


根据 欧 拉 法 ， 可 得 


其 中 , hh 称 为 步 长 ， 是 计算 心境 





有 
Bt 
区 + 二 站- ( 1) (10-69) 
qd Et) -Mb 
p _ foe 1 (10-70) 
dt 7 
En (k) — MA 
“i 人 人 (10-71) 





了 
度 的 间隔 时 间 ， 这 里 取 刀 =0. 02。 


这 种 微分 方程 差分 化 ， ee Ad te 但 也 会 带 来 一 
定 误差 ， 见 表 10-5 和 表 10-6。 
























































表 10-5 差分 化 后 的 误差 (心境 激发 子 过 程 ) 
n ti, MP MA 2 = MP — MA 
0 0 0 0 0 
1 0.02 0. 0392 0. 0400 —0. 0008 
2 0.04 0. 0769 0. 0784 -0.0015 
3 0. 06 0. 1131 0. 1153 —0.0022 
4 0.08 0. 1479 0. 1507 —0. 0028 
5 0.10 0. 1813 0. 1846 —0. 0033 
表 10-6 ”差分 化 后 的 误差 (心境 衰减 子 过 程 ) 
n 纪 MP MA 2 = MB — MA 
0 0 0. 9817 0. 9838 -0.0021 
1 0.02 0. 9432 0. 9445 —0.0013 
2 0.04 0. 9062 0. 9067 -0.0005 
3 0. 06 0. 8707 0. 8704 0. 0003 
4 0.08 0. 8365 0. 8356 0. 0009 
5 0.10 0. 8037 0. 8022 0. 0016 
从 表 10-5 和 表 10-6 中 可 以 看 出 ， 微 分 方程 差分 化 后 的 误差 为 10 数量 级 ， 因 此， 仍 采 


用 差分 的 方法 计算 上 时刻 的 情感 强度 ， 以 利于 情感 计算 的 计算 机 实现 。 
4. 针对 特定 用 户 的 个 性 化 情感 
(1) 完整 的 情感 模型 与 情感 滤波 器 
间 的 基础 上 ， 可 将 情绪 的 变化 过 程 看 成 一 个 随机 过 程 ， 并 进一步 用 


如 前 所 述 ， 在 概率 空 
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马尔 可 夫 链 来 描述 情绪 状态 自发 转移 过 程 ， 进 而 给 出 基本 方程 以 及 计算 方法 。 

实验 中 ， 以 儿童 玩 伴 机 器 人 为 实验 平台 ,通过 应 用 来 验证 模型 的 有 效 性 。 和 情感 的 发 生 通 
常 都 是 混合 的 。 儿 童 玩 伴 机 器 人 在 时 刻 究 竟 处 于 哪 种 情绪 状态 ， 可 由 Es 中 的 各 个 分 量 的 
相对 大 小 来 确定 。 这 里 取 情 感 维度 中 最 大 强度 值 对 应 的 情感 状态 为 需要 表达 的 情感 。 

以 上 的 情绪 状态 刺激 转移 模型 、 情 绪 状态 自发 转移 模型 、 心 境 状态 刺激 转移 模型 、 心 境 
状态 自发 转移 模型 和 情感 滤波 器 ， 共 同 组 成 了 一 个 完整 的 人 工 情感 模型 体系 。 

(2) 个 性 化 人 工 情 感 软件 

基于 上 述 理论 ， 开 发 了 一 个 针对 特定 用 户 的 机 器 人 个 性 化 情感 模型 软件 ， 如 图 10-18 所 
示 。 







































































与 概 眼 撒 率 一 情绪 状态 刺 训 转移 极限 概 军 一 
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图 10-18 人工 情感 软件 


此 软件 应 用 于 儿童 玩 伴 机 器 人 中 ,在 用 户 与 其 对 话 、 和 触摸、 动作 等 交互 方式 的 激励 信息 
下 ， 通 过 情感 软件 模块 ， 产 生 个 性 化 的 输出 ， 例 如 ， 控 制 机 器 人 产生 表情 ， 如 图 10-19 所 
示 ， 实 现 个 性 化 的 交互 。 

53. 结论 

以 情感 能 量 为 出 发 点 ， 从 个 体内 
源 性 因素 角度 建立 心境 自发 转移 模 
型 ， 从 控制 论 的 角度 建立 心境 刺激 转 
移 模型 。 由 于 是 从 情感 能 量 为 出 发 点 
进行 推演， 为 所 提出 的 心境 模型 与 情 
绪 模 型 的 结合 创造 了 条 件 。 为 此 ， 把 
心境 、 情 绪 四 个 模型 统一 到 一 个 框架 
下 ， 并 进行 软件 化 ， 开 发 了 个 性 化 人 工 情感 软件 系统 ， 并 将 其 应 用 于 机 器 人 情感 控制 方面 。 











图 10-19 ”情感 控制 机 器 人 产生 表情 
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人 格 和 生理 因素 影响 心境 的 自发 转移 过 程 ， 心 境 转移 时 间 篆 数 了 也 影响 到 刺激 转移 过 
程 。 通 过 调整 模型 中 的 参数 ， 可 以 实现 具有 个 体 差异 性 的 情感 表达 。 以 儿童 玩 伴 机 器 人 为 实 
验 平台 ， 通 过 应 用 来 验证 模型 的 有 效 性 。 

本 章 所 提出 的 心境 模型 以 及 开发 的 软件 系统 ， 可 用 于 服务 机 器 人 、 家 用 机 器 人 等 需要 个 
性 化 服务 的 人 机 交互 领域 。 其 中 ， 模 型 参数 的 合理 选取 与 模型 应 用 领域 的 拓展 也 有 待 进一步 
深入 人 研究 。 


10.4 基于 机 器 学 习 的 情感 模型 


Simon 认为 学 习 是 能 够 让 系统 在 执行 同一 任务 或 相同 数量 的 男 外 一 个 任务 时 ， 比 前 一 次 
执行 得 更 好 的 任何 改变 。 机 器 学 习 所 关注 的 问题 是 “计算 机 程序 如 何 随 着 经 验 积累 自动 提 
高 性 能 ” 。 简 而 言 之 ， 机 器 学 习 系 统 是 根据 人 工 智能 的 学 习 原 理 和 方法 ， 应 用 知识 表达 、 知 
识 存储 和 知识 推理 等 技术 设计 和 构成 的 ， 具 有 知识 获取 功能 ， 并 能 通过 学 习 增长 知识 、 改 进 
其 性 能 并 提高 智能 水 平 的 系统 。 机 器 学 习 的 基本 模型 如 图 10-20 所 示 ， 其 作为 核心 的 执行 环 
节 对 情感 学 习 的 意义 重大 。 机 器 学 习 的 理论 和 算法 可 应 用 到 虚拟 的 人 机 交互 领域 中 ， 尤 其 是 
在 情感 信息 的 数据 挖掘 和 信息 识别 中 可 得 到 广泛 应 用 。 例 如 ， 机 器 学 习 的 热点 算法 SVM 在 
人 脸 表 情 识别 中 被 广泛 使 用 ， 并 且 能 达到 较 高 的 识别 率 。 


通过 对 环境 的 搜索 获得 外 部 信息 ， 利 用 这 
些 信息 对 知识 库 进行 改进 。 并 将 这 些 信 息 与 存储 操作 知识 


执行 环节 所 反馈 的 信息 进行 比较 
本 
学 习 环节 Re 


用 于 处 理 面临 的 实际 问题 ， 即 应 用 知识 


库 中 所 学 到 的 知识 求解 问题 ， 并 对 执行 的 a 
效果 进行 评价 ， 将 评价 的 结果 反馈 给 学 习 | sse | 
环节 ， 使 系统 进一步 学 习 

































和 10-20 “机 器 学 习 的 基本 模型 
下 面 介 绍 几 种 带 用 的 机 器 学 习 算 法 ,并 对 它们 的 适用 范围 和 优 缺 点 进行 简单 介绍 , 见 表 10-7。 
表 10-7 几 种 常用 的 机 器 学 习 算 法 简介 
名 称 | 算法 简介 | 适用 问题 优点 局 限 性 | 应 用 举例 | 性 能 比较 
应 用 最 广 的 | 是 一 种 逼近 离 | 对 噪声 数据 有 | ”存在 过 度 拟 合 | ”最早 的 著作 | 贝尔 实验 室 对 
归纳 推理 算法 | 散 值 函 数 的 方 | 很 好 的 健壮 性 ; | 训练 数据 的 问 | 是 Hunt 的 概 | 美国 邮政 手写 数 
> 一， 其 中 广 法， 目标 函数 具 能 够 学 习 析 取 表 | 题 。 因 为 向 树 增 | 念 学 习 系统 | 字库 识别 进行 斌 
为 应 用 的 决策 有 离散 的 输出 | 达 式 ; 可 搜索 一 | 加 分 支 可 以 提高 |CLS， 此 后 算 | 验 ,其 中 人 工 识 
树 算法 有 1D3、| 值 ,训练 数据 可 | 个 完整 表示 的 假 | 训 练 样 例 的 性 | 法 的 不 断 改 进 | 别 的 平均 错误 率 
决策 树 学 习 |ASSISTANT 和 | 以 有 错误 训练 | 设 空间 ， 避 免 了 | 能 , 但 却 降低 了 | 被 广泛 应 用 到 | 是 2.5% ; 用 决 
C4.5。 利 用 这 | 数据 可 以 包含 缺 | 受 限 假设 空间 的 | 在 训练 实例 外 的 | 面部 表情 识别 | 策 树 方法 识别 错 
种 方法 学 习 到 | 少 属性 值 的 实 | 不 足 其 他 实例 的 性 能 | 和 语音 情感 识 | 误 率 是 16.2% 
的 函数 常 被 表 | 例 ; 常 被 应 用 到 别 中 ,其 
示 为 一 棵 决策 | 分 类 问题 感 的 分 类 效率 
树 较 
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名 称 


算法 简介 


适用 问题 


优 点 


局 限 性 














应 


举例 





人 工 神经 网 络 
(Artificial Neural 
Networks ,ANN ) 





ANN 是 以 类 
比 于 生物 神经 





对 于 学 复杂 的 
观 实 世界 中 的 伟 

















系统 处 理 信 息 





感 数据 ，ANN 是 

















的 方式 ， 是 采 
大 量 简单 处 
理 单 元 并 行 连 
妆 而 成 的 一 种 























前 最 有 效 的 学 
习 方法 ， 当 训练 











ANN 提供 了 
种 普 适 的 方法 ， 
可 以 从 样 例 中 学 











ANN 的 学 习 时 




















ANN 反 向 传 





间 相 对 较 长 ; 


播 算法 在 实际 


贝尔 实验 室 对 
美国 邮政 手写 数 














神经 网 络 方法 学 





习 值 为 实数 、 离 
散 值 或 向 量 函 











集合 为 含有 噪声 
的 复杂 传感器 数 





























复杂 信息 处 理 
系统 


据 ( 如 摄像 机 和 


传送 器 的 数据 ), | 点 


ANN 将 非常 有 效 














数 ; 具有 高 度 并 
行 性 、 快 速 判 决 
性 、 容 错 性 等 特 
点 





习 到 的 权 值 经 常 
是 人 类 难以 解释 











应 


中 取得 
惊人 的 成 功 ， 


如 学 习 识别 手 
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字库 识别 进行 试 
验 ， 两 层 神经 网 
络 中 错误 率 最 小 














的 ,因此 学 到 的 
神经 网 络 比 学 到 


写字 符 、 学 习 


识别 人 


信和 语 

















的 个 则 难以 传达 


给 人 类 


音 等 方面 


的 是 5.9% ， 专 
门 针对 该 识别 问 
题 设 计 的 五 层 神 
经 网 络 的 错误 率 


是 5.1% 





支持 向 量 机 
( Support Vector 
Machine, SVM) 





从 表 中 可 以 看 出 ， 机 器 学 习 的 各 种 算法 在 国 








SVM 是 建立 
在 统计 学 习 理 
论 的 VC 维 理 
论 和 结构 风 
最 小 原理 基础 
上 的 ， 根 据 有 























它 在 解决 小 样 
本 、 非 线性 及 高 
维 模式 识别 中 表 








在 对 同一 类 数 
据 进行 分 析 时 ， 
SVM 的 精确 度 较 

















现 出 许多 特有 的 
优势 ， 并 能 够 推 
广 应 用 到 函数 拟 






































限 的 样本 信息 


合 等 其 他 机 器 学 





在 模型 的 复杂 
性 和 学 习 能 力 
之 间 寻 求 最 佳 
折 中 ， 以 期 获 























习 问 题 中 





之 其 他 方法 有 明 
显 的 优势 ; 且 

















SVM 是 针对 二 
类 别 分 类 问题 而 
提出 的 ， 如 何 将 
展 到 多 类 别 


分 类 是 一 个 重要 























支持 向 量 机 设计 
的 主管 相对 神经 
网 络 要 小 一 些 ; 
有 强大 的 非 线 
性 和 高 维 处 理 能 
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太 尖 在 
问题 ; SVM 方法 
在 小 样本 学 习 上 
具有 优势 ， 但 j 
练 速 度 很 慢 ， 样 
就 越 慢 











SVM 很 适合 
分 类 规则 挖 
据 ， 而 且 成 功 
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分 析 、 手 写 体 


识别 、 


贝尔 实验 室 对 
美国 邮政 手写 数 
字库 识别 进行 试 
验 ， 利 用 核 函 数 
分 别 为 多 项 式 、 
RBF 、 感 知 器 所 



































语音 情 


感 识别 等 多 种 


绍 简单 的 理论 框架 ， 





详细 的 情感 建 


乡 成 的 三 种 
SVM 方法 得 到 
的 错误 率 分 别 是 
4.0% 、4. 1% 和 
4.2% 








i 部 表情 识别 中 得 到 了 广泛 的 应 用 ， 并 且 也 取 
得 了 不 俗 的 识别 率 。 但 是 在 情感 模型 中 的 应 用 还 比较 少 ， 目 前 北京 科技 大 学 的 王 志 良 教授 所 
带领 的 团队 正 对 这 一 领域 进行 深入 研究 。 在 本 中 





模 理论 以 及 仿真 实验 是 后 续 工作 的 重点 之 一 。 下 面 我 们 以 简单 的 决策 树 学 习 算 法 为 例 介绍 机 
器 学 习 的 内 容 。 
决策 树 学 习 的 表示 法 


在 机 器 学 习 的 各 种 学 习 算 法 中 ， 决 策 树 学 习 是 应 用 最 广 的 归纳 推理 算法 之 





种 


mz» 
人 它 是 





逼近 离散 值 函数 的 方法 ， 在 这 种 方法 中 学 习 到 的 函数 被 表示 为 一 棵 决策 树 。 学 习 得 到 的 决策 
树 也 能 再 被 表示 为 多 个 让 then 的 规则 ， 以 提高 可 读 性 ， 并 且 决 策 树 学 习 对 噪声 数据 有 很 好 
的 健壮 性 且 能 够 学 习 析 取 表达 式 。 





决策 树 通过 把 实例 从 根 节 点 排列 到 某 个 叶子 节点 来 分 类 实例 ， 叶 子 节点 即 为 实例 所 
分 类 。 树 上 的 每 一 个 节点 指定 了 对 实例 中 某 个 属性 的 测试 ， 并 | 














属 的 


旦 该 节点 的 每 一 个 后 继 分 支 对 


应 于 该 属性 的 一 个 可 能 值 。 分 类 实例 的 方法 是 从 这 棵 树 的 根 节点 开始 ， 测 试 这 个 节点 指定 的 











属性 ， 然 后 按照 给 定 实例 的 属性 值 将 对 应 的 树枝 向 下 移动 。 然 后 这 个 过 程 在 以 新 节点 为 根 的 
子 树 上 重复 。 
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2. 决策 树 学 习 的 适用 范围 

通常 决策 树 学 习 最 适合 具有 以 下 特征 的 问题 : 

1) 实例 是 由 “属性 一 值 ” 对 表示 的 ; 

2) 目标 函数 具有 离散 的 输出 值 ; 

3) 可 能 需要 析 取 地 描述 ; 

4) 训练 数据 可 以 包含 错误 ; 

5) 训练 数据 可 以 包含 缺少 属性 值 的 实例 。 

正 是 由 于 现实 中 有 很 多 问题 符合 这 些 特征 ， 所 以 决策 树 学 习 已 经 被 应 用 到 众多 领域 。 在 
机 器 人 情感 建 模 研究 中 ， 我 们 希望 在 人 与 机 器 的 交互 过 程 中 ， 通 过 一 系列 有 效 的 传 感 顺 ， 得 
到 关于 人 的 面部 表情 ， 语 气 语调 ， 以 及 机 器 的 肢体 接触 等 情感 信息 ; 通过 分 析 这 些 情感 信 
息 ， 建 立 起 机 器 人 在 某 种 情况 下 所 对 应 的 情感 表达 模型 。 

3. 基于 决策 树 学 习 的 情感 建 模 

大 多 数 已 开发 的 决策 树 学 习 算 法 是 一 种 核心 算法 的 变 体 。 该 算法 采用 自 项 向 下 的 贪 林 搜 
索 饥 历 可 能 的 决策 树 空间 。 这 种 方法 是 ID3 算法 和 后 继 的 C4. 5 算法 的 基础 。ID3 算法 的 核 
心 问题 是 选取 在 树 的 每 个 结 点 要 测试 的 属性 ， 它 在 增长 树 的 每 一 步 使 用 信息 增益 标准 从 候选 
属性 中 选择 属性 ， 也 就 是 说 ， 把 哪个 节点 作为 根 节点 来 划分 决策 树 是 算法 的 重点 。 信 息 增益 
的 公式 如 下 : 
























































Entropy(S) = -P,log,P, -P_log,P. 
|S,| 
G(S,A) =Entropy(S) — 2 A (10-72) 

要 想 构 造 好 的 决策 树 选择 好 的 属性 是 关键 ,那么 对 于 同样 一 组 例子 ， 可 以 有 很 多 决策 树 
与 其 相符 。 人 们 研究 出 ， 一 般 情况 下 ， 树 越 小 则 树 的 预测 能 力 越 强 。 要 构造 尽 可 能 小 的 决策 
树 ， 关 键 在 于 选择 恰当 的 逻辑 判断 或 属性 。 

本 小 节 以 ID3 算法 为 主 ， 并 且 以 一 个 简单 的 例子 来 说 明 决 策 树 在 机 器 人 情感 建 模 中 的 应 
用 。 

在 人 与 机 器 人 进行 交互 的 过 程 中 ,提取 人 的 部 分 特征 ， 如 语气 (温柔 、 凶 | 狠 )、 动 作 
(触摸 、 打 击 ) 和 声音 (大 、 小 )。 相 应 地 ， 机 器 人 做 出 “皱眉 ”或 者 “微笑 ”两 种 表情 。 
具体 数据 见 表 10-8。 




















表 10-8 情感 建 模 数据 表 





























序 号 语 气 动 作 音 ” 量 微 笑 
1 温柔 触摸 大 YES 
2 温柔 触摸 小 YES 
3 温柔 上 大 YES 
4 温柔 6 小 YES 
5 凶狠 中 摸 大 NO 
0 凶狠 触摸 小 NO 
J 凶狠 门 击 大 NO 
8 凶狠 | 击 小 NO 
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此 时 ， 我 们 可 以 采用 ID3 算法 建立 起 一 棵 决策 树 。 步 又 如 下 : 

首先 ， 计算 每 一 个 候选 属性 (语气 、 动 作 和 音量 ) 的 信息 增益 ， 然 后 选择 信息 增益 最 
高 的 一 个 。 三 个 属性 的 信息 增益 为 

Value (语气 ) = 温柔 ， 凶 狠 ; 























S=[4+,4-]; 
Sw =[4+,0-]; 
Sm 下 =[0+,4-]; 

G(S ,语气 ) =info(4,4) -0.5info(4,0) -0.Sinfo(0 ,4) 
info(4,4) = -0. Slog,0.5 -0. Slog,0.5 =1 
info(4,4) = -0. Slog,0.5 -0. Slog,0.5 =1 

info(4,0) = -log,l -0 =0 = info(0,4) 
G(S, 语 气 ) =1 
G(S ,语气 ) =info(4,4) -0.5info(4,0) -0.Sinfo(0 ,4) 
info(4,0) = -log,l -0 =0 = info(0,4) 
G(S, 语 气 ) =1 
因为 G 的 最 大 值 就 是 1， 因 此 ， 根 节点 可 以 选择 属性 为 语气 的 节点 。 
然后 继续 递归 下 去 ， 计算 剩 下 两 个 属性 的 信息 增益 值 ， 最 终 建 立 一 棵 决策 树 如 图 10-21 
所 示 。 




















图 10-21 决策 树 示 意图 


在 实际 中 ， 因 为 数据 量 庞 大 ， 决 策 树 空 间 并 非 如 此 简单 。 节 点 的 选取 原则 是 ， 由 根 到 叶 
子 ， 每 一 个 节点 都 是 选取 信息 增益 最 大 的 属性 作为 节点 。 

4. 仿真 

在 MATLAB 中 进行 仿真 ， 假 设 有 125 组 数据 (事实 上 远大 于 这 个 数字 )， 分 别 从 悲伤 、 
喜悦 、 人 愤怒、 惊奇 、 和 忍 惧 五 种 情绪 得 来 ， 其 中 每 种 情绪 的 数据 范围 是 限定 的 。 训 练 数据 为 
125 组 ， 测 试 数据 为 100 组 ， 最 终 得 到 的 决策 树 如 图 10-22 所 示 。 图 10-23 所 示 为 前 25 组 数 
据 进 行 决策 树 分 类 后 的 结 

虽然 可 以 看 出 数据 都 得 到 了 完整 的 分 类 ， 但 是 这 种 仿真 存在 几 个 问题 : 首先 数据 是 自己 
创造 的 没有 理论 根据 。 而 且 对 于 一 种 情绪 来 讲 ， 数 据 可 以 通过 视觉 、 听 觉 、 触 觉 来 得 到 ， 其 
具体 的 情感 数据 分 类 要 通过 大 量 的 实验 才能 得 到 准确 值 。 其 次 ，MATLAB 中 的 决策 树 函 数 是 
二 叉 树 ， 也 就 是 不 能 有 多 叉 分 支 ， 这 在 实际 中 是 受 限制 的 ， 不 过 可 以 通过 编程 实现 多 又 树 。 
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图 10-22 决策 树 仿真 结 
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图 10-23 25 组 测试 数据 进行 分 类 的 结果 
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总 疆 


5. 总 结 

决策 树 学 习 也 有 其 不 足 之 处 ， 比 如 对 连续 性 的 字段 比较 难 预测 ， 当 类 别 太 多 时 ， 错 误 可 
能 会 增加 得 比较 快 ; 一 般 算 法 分 类 的 时 候 ， 只 是 根据 一 个 属性 来 分 类 ; 不 能 保证 全 局 最 优 。 
但 是 机 咒 学 习 中 有 神经 网 络 、 贝 叶 斯 学 习 等 等 很 多 更 加 优秀 的 学 习 算 法 ， 都 可 以 针对 某 一 种 
问题 提出 解决 方案 ， 因 此 将 机 器 学 习 应 用 到 机 器 人 的 情感 建 模 中 是 以 后 的 研究 重点 之 一 。 
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本 章 主 要 从 三 个 部 分 介绍 情感 机 器 人 的 应 用 实例 。 首 先 介 绍 能 够 实现 家 庭 环境 互动 的 智 
能 家 居 系 统 ， 该 系统 可 以 将 整个 智能 数字 家 居 系 统 的 功能 综合 起 来 ， 用 户 可 以 方便 地 控制 家 
庭 中 各 个 电器 设备 。 尤 其 适合 无 人 环境 ， 家 中 有 老人 或 小 孩 ， 以 及 家 中 有 残疾 人 的 家 庭 。 第 
二 部 分 介绍 了 虚拟 管家 的 设计 ， 该 设计 可 以 在 虚拟 环境 下 实现 智能 人 机 交互 ， 除 了 管理 家 居 
生活 之 外 ， 还 可 以 扩展 到 虚拟 中 医 等 场景 。 其 特殊 的 老 太 太 形象 增加 了 用 户 体 验 的 亲切 感 ， 
具有 情感 的 对 话 内 容 也 使 得 交谈 过 程 更 加 拟人 化 。 最 后 一 部 分 介绍 了 物理 机 器 人 ， 具 有 人 情感 
模型 的 表情 头 设计 ， 可 以 表现 出 多 种 富有 人 情感 的 表情 ， 这 使 得 在 人 机 交互 中 更 为 和 谐 。 


11.1 智能 家 居 系 统 





11.1.1 智能 家 居 的 设计 背景 

智能 家 电 控 制 系统 作为 数字 家 庭 实 验 室 联网 系统 (digital home lab) 的 一 个 控制 设备 ， 
任务 是 提供 良好 的 人 机 交互 平台 ， 将 整个 智能 数字 家 居 系 统 的 功能 加 以 综合 ， 以 更 加 友 
智能 方式 向 用 户 提 供 服务 。 使 用 智能 家 电 系 统 ， 用 户 可 以 在 家 庭 环境 中 方便 地 控制 各 种 
设备 ， 实 现 设备 的 互通 互联 。 

图 11-1 所 示 为 智能 管家 系统 与 整个 家 居 环 境 的 物理 关系 。 可 以 看 出 ， 此 系统 运行 在 一 
台 瞬 入 式 PC 上 ， 通 过 触摸 屏幕 与 人 进行 交互 。 系 统 的 启动 界面 如 图 11-2 所 示 。 
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妈 11-2 智能 家 电 管 理 系统 示意 
11.1.2 智能 家 居 的 整体 设计 


由 图 11-1 所 示 的 功能 结构 可 以 看 出 ， 智 能 家 电 管 理 系统 作为 HCI 的 平台 ， 使 用 触摸 屏 
与 用 户 交互 。 由 于 各 个 设备 在 家 庭 中 分 布 较为 分 散 ， 因 此 通 星 状 拓扑 
信 平 台 必 不 可 少 ,我 们 使 用 ZigBee 无 线 网 络 作为 其 通信 平 
台 ，ZigBee 技术 是 一 种 短 距离 、 低 功 耗 、 低 数据 速率 、 低 成 
本 、 低 复杂 度 的 无 线 网 络 技术 。 由 于 在 家 庭 环境 下 ， 通 信 的 
距离 相对 较 小 ， 所 以 ZigBee 网 络 使 用 星 形 网 络 拓扑 结构 。 
其 星 形 网 络 拓扑 结构 示意 图 如 图 11-3 所 示 。 

家 电 设备 之 间 的 通信 协议 包括 两 个 部 分 ， 应 用 层 协议 和 
底层 传输 协议 。 本 设计 使 用 ZigBee 网 络 ， 底 层 传输 协议 使 。 图 11-3 ZigBee 网 络 的 星 形 
用 ZigBee 协议 。 应 用 层 协议 则 使 用 通用 智能 控制 协议 人 
(GICP) 和 信息 设备 资源 共享 协同 服务 协议 (ICRS ) 。 


11.1.3 智能 家 居 的 工作 过 程 


打开 家 电 智 能 管理 系统 应 用 程序 后 ， 将 呈现 如 图 11-4 所 示 的 画面 。 在 界面 中 有 网 络 信 
息 、 场 景 模式 、 智 能 环境 览 控 、 串 口 配置 、 串 口 监 视 等 几 项 功能 。 用 户 可 以 通过 点 击 “ 登 
录 设 置 ” 来 设 定 软件 登录 时 的 密码 。 

首先 ， 需 要 设置 软件 与 下 位 机 通信 的 串口 号 。 切 换 到 串口 配置 标签 页 ， 如 图 11-5 所 示 ， 
在 此 标签 页 里 ， 用 户 可 以 设置 通信 串口 的 串口 号 、 波 特 率 、 奇 偶 校 验 、 数 据 位 和 停止 位 。 

智能 家 电 管 理 系统 在 使 用 前 需要 将 设备 加 入 到 网 络 列表 中 ， 即 为 设备 分 配 网 络 地 址 。 切 
换 到 “网 络 信息 ”标签 页 后 ， 点 击 “ 开 始 配置 设备 也 ”按钮 ， 系 统 会 自动 发 送 网 络 配置 信 
息 ， 收 到 此 消息 后 ， 设 备 会 向 系统 发 送 相应 配置 消息 ， 该 消息 中 带 有 八 位 随机 码 ， 以 区 别 于 
其 他 设备 。 收 到 设备 发 来 的 相应 配置 消息 后 ， 系 统 会 为 相应 的 设备 发 送 ID 配置 消息 ， 即 为 
该 设备 分 配 网 络 一 。 网 络 设备 退出 配置 状态 ， 此 后 ， 每 隔 lmin 向 系统 发 送 在 线 消息 ， 以 告 
知 系统 ， 该 设备 处 于 在 线 可 控 状 态 。 整 个 配置 过 程 如 下 : 
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到 11-4 家 电 智 能 管理 系统 界面 
吉 IGRS 家 电 智 能 管理 系统 ”=1- 1 国名 
总 | [ 码 IGRS 家 电 %) 
登录 设置 | | 软件 信息 智能 管理 系统 

















| | 网 络 信息 ] 场景 醒 式 | 智能 环境 监控 | 弄 足 机 器 人 [ 生命 状态 检测 仪 | 热水器 | 大 机 器 人 [ 空调 | 审 口 配置 | 审 utn| 
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图 11-5 设置 串口 配置 


配置 器 和 设备 处 于 配置 状态 时 ， 可 进行 设备 配置 。 

1) 配置 器 、 设 备 通过 相关 操作 ， 进 入 配置 状态 。 

2) 配置 器 在 管辖 的 子 网 内 ， 定 时 广播 包含 网 络 ID 的 配置 准备 消息 。 

3) 设备 接收 配置 准备 消息 ， 随 机 生成 8 字 节 的 设备 请 求 标识 数据 ， 发 送 配 置 请 求 消 








息 。 
4) 配置 器 接收 配置 请 求 消息 ， 分 配 相应 设备 ID ， 发 送 配 置 响应 消息 。 

5) 设备 接收 配置 响应 消息 ， 检 查 配 置 响应 消息 是 否 属于 本 设备 〈 根 据 返 回 的 设备 请 求 
识别 码 是 否 由 本 设备 提交 的 进行 判断 ) ， 验 证 成 功 后， 记录 网 络 ID 并 获得 设备 DD， 设备 配 
置 成 功 ， 退 出 配置 状态 。 如 果 配 置 响应 消息 不 是 给 本 设备 的 ， 或 是 一 直 没 收 到 配置 响应 消 
息 ， 则 再 次 等 竺 配置 需 发 送 配置 准备 消息 ， 重 新 请 求 配置 。 

6) 配置 器 在 配置 状态 下 持续 定时 广播 配置 准备 消息 ， 直 到 通过 相关 操作 退出 配置 状态 。 
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对 于 普通 设备 ， 上 电 lmin 内 每 隔 10s 宣告 一 次 ， 之 后 每 隔 Smin 宣告 一 次 ， 如 果 接 收 到 
设备 查找 消息 ， 且 符合 查找 条 件 ， 则 在 第 n 毫秒 (n 为 小 于 10000 的 随机 数 ) 开始 第 1min 
内 每 隔 10s 宣告 一 次 ， 然 后 每 隔 Smin 宣告 一 次 。 如 果 一 个 设备 在 长 时 间 内 没有 发 送 任 何 消 
息 ， 则 其 他 设备 认为 该 设备 离线 。 

图 11-6 模拟 的 空调 设备 ， 在 完成 网 络 配 置 后 的 状态 。 
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妈 11-6 实现 网 络 配置 后 的 状态 示意 图 

















当 系 统 与 设备 完成 网 络 配 置 后 ， 系 统 的 界面 上 会 呈现 出 已 上 线 设 备 ， 并 指出 该 设备 的 网 
络 地 址 和 在 线 状态 。 通 过 点 击 该 设备 所 在 位 置 ， 会 弹出 对 话 框 ， 指 示 是 否 传 输 设备 描述 文 
件 ， 点击“ 确定 ”按钮 后 ， 系 统 会 向 相应 的 设备 发 送 请 求 传输 的 命令 。 系 统 作为 文件 传输 
的 请 求 端 ， 设 备 作为 文件 的 持 有 端 。 

文件 传输 由 文件 请 求 端 发 起 请 求 ， 文 件 持 有 端 对 请 求 进行 回应 。 请 求 端 可 根据 实际 情况 启 





动 、 暂 停 或 中 止 传输 。 传 输 可 以 从 文件 头 或 Se 人 
某 个 断 点 开始 。 文 件 请 求 端 可 通过 文件 总 长 文件 传输 请 求 
和 已 经 获得 的 文件 数据 来 判断 一 个 文件 是 否 | 
已 经 传输 完毕 。 如 果 一 个 文件 没有 传输 完毕 ， ee 
则 请 求 端 可 以 适时 地 请 求 继续 传输 。 一 个 完 0 文件 传输 请 求 
整 的 文件 传输 过 程 如 图 11-7 所 示 。 系 统 界面 Re 
的 下 方 会 显示 文件 传输 的 进度 。 训 全 间 攻 全 
设备 描述 文件 一 般 固化 在 设备 中 , 记录 。 。“* 文件 传输 请 求 
通用 控制 设备 的 基本 信息 、 所 具备 的 功能 、 0 
执行 相关 功能 所 涉及 的 参数 ， 以 及 各 参数 取 文件 总 长 </ 字 攻 


ds ， i 文件 数据 =c 字 节 
值 定义 ， 描 述 通 用 控制 设备 的 资源 ， 详 细 记 : 


录 设 备 在 互联 网 中 的 表现 形式 ， 以 及 设备 所 ”atptet…=M| 文件 传输 结束 ， 不 在 请 求 ! 
能 提供 的 服务 。 
完成 设备 描述 文件 的 传输 后 ， 系 统 会 自 GE 








214 


动 对 文件 进行 解析 ， 在 系统 界面 上 会 显示 该 设备 的 名 称 ， 如 图 11-8 所 示 。 
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图 11-8 文件 解析 的 系统 界面 


完成 设备 描述 文件 的 传输 后 ， 用 户 可 以 点 击 该 设备 进行 控制 。 例 如 ， 点 击 “ 美 的 空调 ” 
后 ， 系 统 会 弹出 如 图 11-9 所 示 对 话 框 。 系 统 会 自动 解析 设备 描述 文件 ， 在 电器 信息 对 话 框 
中 显示 设备 名 称 、 生 产 商 、 产 品 型 号 、 序 列 号 、 生 产 日 期 ， 并 将 电器 功能 列 在 与 设备 对 应 的 
































功能 对 话 框 中 。 
训 eI 家 四 衣 省 理 系 统 图 
EE 
设备 名称: 半 的 家 
生产 商 :美的 ET 
产 Ra 有 () 闻 
i. pn 于 : i)) 5ICF 家 电 知 能 着 理 系 统 
生产:2008-t2-12 EE 请 从 下 拉 列 表 中 选择 一 个 数值 








图 11-9 美的 空调 的 挖 融 





一 入 


界面 
点 击 相 应 的 功能 ， 系 统 回 想 该 设备 发 送 控制 命令 ， 并 会 返回 执行 的 效果 ， 如 果 未 能 得 到 
执行 ， 会 显示 未 成 功 的 原因 ， 如 图 11-10 所 示 。 
IGRS 智 能 家 电 管理 条 统 国 | 目 IGR5 智 能 家 电 管理 系统 ”区 | 


i 控制 成 功 ， 能 器 执行 操作 。 


Wi 村 利夫 败 ， 参 数值 无效。 








图 11-10 成 功 与 失败 的 界面 显示 
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为 方便 用 户 对 家 电 的 自动 控制 ， 使 家 电能 按照 用 户 的 意愿 在 某 一 时 刻 自动 执行 功能 ， 系 
统 提供 了 五 种 情景 模式 ， 分 别 为 “起 床 场 景 ”“ 上 班 场景 ”“ 回 家 场景 ”“ 睡 觉 场 景 ” 和 
“普通 场景 *"。 用 户 可 自行 设 定 每 种 场景 的 内 容 ， 如 图 11-11 所 示 。 用 户 通 过 系统 亦 可 了 解 
到 家 庭 中 的 环境 信息 ， 如 光照 ， 温 度 和 湿度 等 ， 如 图 11-12 所 示 。 
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图 11-11 智能 家 居 的 场景 模式 设计 
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图 11-12 智能 家 居 的 职能 环境 监控 模式 


系统 发 送 和 接收 数据 的 情况 可 通过 切换 标签 页 “串口 监视 ”来 查看 ， 如 图 11-13 所 示 。 
通过 上 述 各 种 操作 ， 可 以 实现 对 各 个 环境 模式 下 各 房间 的 电 絮 设备 控制 ， 达 到 绿色 节 
能 、 低 碳 的 和 谐 生活 目标 。 
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到 11-13 智能 家 居 的 串口 监视 





11.2 虚拟 管家 系统 


11.2.1 虚拟 管家 系统 的 开发 背景 


作为 数字 家 庭 的 一 个 重要 终端 一 一 计算 机 自 诞 生 以 来 ， 经 过 半 个 多 世纪 的 发 展 ， 已 应 用 
到 社会 生活 的 各 个 领域 ， 可 以 代替 人 做 大 量 重复 性 的 工作 ， 且 在 这 方面 的 能 力 ， 有 的 已 远 远 
超过 人 类 。 在 此 背景 下 ， 人 与 计算 机 间 的 通信 一 一 人 机 交互 ， 不 断 受 到 重视 ， 人 机 接口 技术 
得 到 飞速 发 展 ， 人 机 交互 界面 已 从 过 去 的 “人 适应 计算 机 ”发 展 为 “计算 机 适应 人 的 习惯 ” 
和 “以 用 户 为 中 心 ” 的 新 阶段 。 同 时 ， 数 字 家 庭 的 提出 与 发 展 , 使 得 人 机 交互 在 家 居 环 境 
中 的 应 用 提升 到 了 一 个 更 高 的 层面 。 在 数字 家 庭 环境 中 ， 我 们 提出 了 “虚拟 管家 ”的 概念 ， 
即 面向 数字 家 庭 的 虚拟 管家 。 

面向 数学 家 庭 的 虚拟 管家 〈 又 称 智 能 管家 ) 系统 作为 数字 家 庭 联网 系统 的 一 个 终端 设 
备 ， 定 位 于 数字 家 庭 系统 中 的 家 庭 层 ， 以 人 或 者 说 是 家 庭 成 员 作为 交互 对 象 。 主 要 的 任务 是 
提供 良好 的 人 机 交互 平台 ， 将 整个 数字 家 庭 环境 中 智能 数字 家 居 系 统 的 功能 加 以 综合 ， 以 更 
加 友好 智能 的 方式 向 家 庭 成 员 提 供 服务 。 换 句 话 说， 就 是 要 以 “虚拟 机 器 管家 ”的 形式 ， 
结合 人 脸 识别 、 语 音 交 互 、 有 线 / 无 线 网 络 、 视 线 追 踪 、 红 外 遥控 /遥感 等 多 种 技术 来 实现 对 
数字 家 居 设 备 的 管理 、 控 制 ， 以 实现 和 谐 的 人 机 交互 ， 提 高 人 们 在 数字 家 庭 环 境 中 的 生活 舒 
适度 ， 从 而 极 大 地 提升 人 们 的 生活 水 准 和 满意 度 。 


11. 2. 2 ”虚拟 管家 系统 的 整体 设计 


根据 软件 工程 中 面向 对 象 的 系统 设计 思想 ， 虚 拟 管家 系统 结构 采用 模块 化 的 方法 ， 将 系 
统 分 为 面向 用 户 模块 和 后 台 程 序 模块 。 系 统 模块 如 图 11-14 所 示 。 
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面向 用 户 模块 后 台 程序 模块 






将 命令 传递 给 各 功能 模块 









二 ALLL  [T 
反馈 执行 信息 
ma | 和 
用 户 界面 模块 | 9 








图 11-14 虚拟 管家 软件 系统 模块 图 








面向 用 户 模块 分 为 用 户 界面 模块 和 交互 手段 模块 两 部 分 ， 主 要 负责 与 用 户 之 间 进 行 交 
互 ， 包 括 提 供 人 机 交互 的 界面 和 手段 ， 而 后 台 程 序 模块 主要 针对 数字 家 庭 环境 。 

虚拟 管家 系统 的 各 个 功能 均 采 用 事件 驱动 模式 ， 可 独立 实现 其 模块 功能 ， 且 各 功能 之 间 
没有 相互 依赖 的 关系 ， 所 以 系统 运行 流程 呈现 树 形 结构 ， 系 统 流程 如 图 11-15 所 示 。 
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图 11-15 虚拟 管家 系统 运行 流程 图 
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流程 图 主要 包括 四 个 部 分 ， 初 始 化 、 启 动 交 互 界面 、 启 动 交 互 手段 和 运行 后 台 程序 模 
块 。 

1. 初始 化 

在 初始 化 部 分 ， 主 要 完成 语音 识别 、 视 线 跟踪 、IGRS 网 络 、 串 口 等 的 初始 化 工作 ,为 
后 续 的 交互 界面 、 交 互 手段 和 后 台 程 序 的 运行 做 准备 。 

2. 启动 交互 界面 

交互 界面 包括 虚拟 管家 的 形象 和 功能 界面 ， 其 中 管家 形象 既 有 调用 的 MS Agent 形象 ， 
又 有 用 Flash CS 开发 的 Flash 形象 ; 功能 界面 主要 是 将 虚拟 管家 的 功能 可 视 化 。 

3. 启动 交互 手段 

在 语音 、 视 线 交 互 手段 初始 化 后 ， 现 在 启动 。 用 户 可 以 通过 语 首 与 虚拟 管家 进行 对 话 ， 
调用 其 功能 。 视 线 跟 踪 启 动 后 ， 能 实时 检测 到 用 户 视 线 停 留 在 屏幕 上 的 位 置 坐标 ， 并 通过 
socket 模块 发 送 给 Flash 形象 ， 让 她 的 眼睛 也 随 着 坐标 的 变化 看 向 屏幕 的 不 同方 向 ， 模 拟 跟 
踪 用 户 视线 ; 同时 ， 当 用 户 在 功能 按钮 上 的 盯 视 超过 5s (时 间 值 可 变 ) ， 系 统 将 响应 按钮 消 
息 ， 执 行 用 户 点 击 按钮 调用 此 功能 。 

4. 运行 后 台 程序 模块 

程序 的 后 台 运 行 模块 包括 虚拟 管家 按照 用 户 设 定 的 模式 运行 表 ， 自 动 调节 家 电 设 备 的 运 
行 状 态 ， 还 包括 通过 IGRS 网 络 协议 获取 数字 家 庭 中 温度 、 湿 度 、 烟 雾 浓 度 、 燃 气 浓 度 、 红 
外 和 门 磁 等 传感器 信息 ， 对 数据 进行 分 析 ， 对 家 电 设 备 的 运行 状态 进行 调整 和 对 紧急 情况 进 
行 警 报 、 处 理 。 当 用 户 与 虚拟 管家 进行 语音 聊天 对 话 时 ， 语 音 情感 分 析 也 同时 实现 。 


11.2.3 虚拟 管家 系统 功能 模块 说 明 


虚拟 管家 系统 的 功能 模块 包括 身份 识别 模块 、 常 用 功能 模块 、 休 闲 娱 乐 功能 模块 和 数字 
家 庭 控制 模块 ， 系 统 模块 拓扑 图 如 图 11- 16 所 示 。 
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图 11-16 虚拟 管家 系统 模块 拓扑 图 


.身份 识别 模块 

a 经 过 训练 或 注册 后 ， 能 够 通过 语音 或 

ee 5 
. 常用 功能 模块 

ji 理财 分 析 、 天 气 查 询 等 常用 的 功能 。 它 不 仅 能 够 对 数据 库 中 的 重 
要 事务 进行 定时 提醒 ， 对 家 庭 的 收 支 情况 按 天 、 按 月 和 按 年 进行 统计 分 析 ， 并 给 出 合理 的 建 

还 能 够 实时 提供 详细 的 天 气 情况 。 

3. 休闲 娱乐 功能 模块 

语音 交互 是 虚拟 管家 的 一 大 特色 ， 此 模块 主要 通过 语音 交互 来 实现 。 用 户 可 以 与 虚拟 管 
家 进行 简单 的 聊天 ， 并 且 虚 拟 管家 可 通过 完全 匹配 问 句 查找 数据 库 和 对 语音 情感 的 分 析 给 出 
答案 ， 同 时 还 能 做 出 相应 的 表情 动作 ; 在 问答 部 分 ， 主 要 针对 家 庭 成 员 中 的 儿童 成 员 进 行 有 
关 《 十 万 个 为 什么 》 的 问 句 文本 分 析 ， 理 解 提 问 的 主体 ， 最 后 在 数据 库 中 查找 答案 ， 这 优 
于 聊天 功能 的 问 句 完全 匹配 方式 。 

4. 数字 家 庭 控 制 模块 

在 此 模块 中 ， 和 危险 警示 功能 是 根据 由 控制 中 心 通过 IGRS 协议 发 送 的 烟雾 、 煤 气 浓度 检测 
传感器 实时 检测 数据 ， 进 行 是 否 超标 的 判断 ， 如 果 超 标 ， 虚 拟 管家 会 进行 语音 提醒 、 报 和 警 ， 并 
发 送 开 窗 指 令 等 。 家 电 控 制 功能 主要 是 对 数字 家 庭 环境 中 的 家 用 电器 ， 如 电视 、 灯 光 和 空调 等 
通过 串口 发 送 指令 进行 手动 控制 ， 或 根据 用 户 按照 时 间 顺 序 设 定 的 运行 模式 表 进 行 自动 控制 ; 
也 可 以 通过 IGRS 协议 将 家 电 运 行 状态 的 指令 发 送 给 控制 中 心 ， 由 控制 中 心 去 执行 。 

图 11-17 所 示 为 虚拟 管家 系统 的 软件 平台 ， 用 鼠标 点 击 对 应 的 文字 框 ， 就 可 以 进行 相应 
的 控制 。 其 具体 的 控制 操作 示意 图 可 以 参见 本 书 第 6 章 的 详细 内 容 。 
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图 11-17 虚拟 管家 系统 的 软件 平台 
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11.3 服务 机 器 人 


11.3.1 服务 机 器 人 的 开发 背景 


家 庭 服务 机 器 人 是 机 器 人 的 发 展 方向 ， 是 我 国 进一步 加 强 机 器 人 技术 研究 的 突破 口 ， 是 
我 国 机 器 人 技术 发 展 的 重点 。 

个 人 电脑 普及 革命 的 领军 人 物 比尔 盖 茨 预言 ， 机 器 人 即将 重复 个 人 电脑 崛起 的 道路 ， 
“未 来 家 家 都 有 机 器 人 ”。 点 燃 机 器 人 普及 的 “ 导 火 索 ”， 这 场 革 命 必 将 与 个 人 电脑 一 样 ， 彻 
底 改变 这 个 时 代 的 生活 方式 。 韩 国 科 学 家 预测 ， 到 2015 年 ， 每 个 家 庭 将 至 少 拥 有 一 个 机 器 
人 。 在 2008 年 中 国 科 协 举办 的 “五 个 10” 系 列 评 选 活动 中 , “未 来 家 庭 机 器 人 ”人 入选 “10 
项 引领 未 来 的 科学 技术 ”， 这 表明 家 用 机 器 人 技术 所 具有 的 前 治学 科 性 与 重要 实用 意义 。 

这 些 家 用 机 器 人 的 功能 高 度 专业 化 ， 作 为 计算 技术 的 一 个 延伸 ， 能 够 提供 语音 交互 、 数 
据 传输 、 多 媒体 服务 、 家 电 控 制 和 管理 等 功能 ， 也 是 智能 网 络 家 电 中 的 一 个 重要 的 组 成 部 
分 。 这 些 装置 的 价格 不 断 降 低 ， 逐 步 达 到 普通 消费 者 能 够 承受 的 水 平 ， 机 器 人 极 有 可 能 使 人 
类 社会 生活 的 方方面面 一 一 包括 工作 、 交 流 、 学 习 及 娱乐 等 发 生 重大 变革 ， 影 响 之 深远 丝毫 
不 逊 于 过 去 30 年 间 个 人 电脑 给 我 们 带 来 的 变化 。 

随 着 智能 机 器 人 技术 的 迅速 发 展 ， 智 能 机 器 人 的 应 用 领域 正在 不 断 扩 大 ， 已 经 逐步 进入 
了 家 庭 服务 行业 ， 由 智能 型 家 庭 服务 机 器 人 代替 人 来 完成 清洁 卫生 、 物 品 搬运 、 家 电 控 制 、 
家 庭 娱 乐 、 病 况 监 视 、 儿 童 教育 、 报 时 催 醒 、 电 话 接听 等 各 种 家 务 劳 动 ， 这 种 服务 机 器 人 是 
一 种 能 够 自主 或 者 半 自 主 地 提供 服务 而 不 是 提供 生产 的 机 器 人 ， 它 的 使 用 能 够 提高 人 们 的 生 
活 质量 。 

同时 ， 世 界 各 国 的 老龄 化 问题 进一步 加 剧 了 对 智能 型 家 庭 服务 机 器 人 的 需求 。 如 ， 加 拿 
大 65 岁 以 上 老人 达 380 万 人 ; 德国 60 岁 以 上 的 老人 超过 8200 万 人 ,分 别 占 该 国人 口 的 
12.43 % 和 22 % ， 而 且 ， 近 年 来 还 有 增长 趋势 。 中 国 独生子 女 和 老龄 化 问题 将 更 加 严重 。 
因此 ， 家 庭 服务 机 器 人 将 在 许多 以 老 、 弱 、 病 、 残 、 独 生子 女 为 主 的 家 庭 中 有 很 好 的 应 用 前 
慰 o 

此 外 ， 以 防盗 监测 和 电 及 煤气 安全 检查 为 主要 内 容 的 家 居 智 能 安防 系统 在 我 国 发 展 迅 
速 。 近 几 年 的 增长 速度 达到 15% ~20%。 因 此 ,将 家 庭 服务 机 器 人 与 家 居 智 能 安防 系统 结 
合 在 一 起 ， 可 以 更 有 效 地 完成 家 庭 服 务 和 家 居 安 防 工作 。 

因此 ， 服 务 机 器 人 主要 应 用 于 家 务 劳 动 、 娱 乐 教育 、 老 年 人 及 残疾 人 康复 、 护 理 、 安 防 
等 社会 服务 领域 ， 对 于 缓解 全 球 老龄 化 所 带 来 的 服务 行业 劳动 力荐 乏 等 社会 问题 具有 重大 意 
尺 。 


11.3.2 服务 机 器 人 的 整体 设计 


基于 情感 计算 、 认 知 理论 ， 具 有 多 通道 、 多 模 态 人 机 交互 与 合作 能 力 的 物理 型 服务 机 顺 
人 系统 ， 其 信息 流 图 如 图 11-18 所 示 。 

将 服务 机 器 人 系统 划分 为 七 个 层次 : 物理 层 、 驱 动 层 、 信 息 处 理 层 、 行 为 规划 层 、 传 输 
层 、 应 用 层 和 系统 监控 层 。 
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物理 层 : 这 一 层 作 为 交互 逻辑 的 最 底层 ， 直 接 与 环境 、 交 互 者 和 网 络 中 的 其 他 在 线 设备 
































































发 生 联系 。 它 包括 物理 型 服务 机 器 人 的 各 种 硬件 传感器 、 网 络 接口 和 有 信息 采集 及 处 理 功能 
的 软件 agent。 对 于 物理 型 服务 机 器 人 ， 此 层 还 包括 舵 机 、 步 进 电 动机 等 执行 机 构 。 

驱动 层 : 驱动 层 位 于 软件 系统 和 物理 硬件 层 之 机 器 人 整体 设计 图 
间 ， 完 成 服务 机 器 人 软件 对 硬件 设备 的 驱动 。 通 过 
对 传感器 采集 信号 的 变换 ， 转 换 成 软件 能 够 处 理 的 
言 息 。 实 现 软件 到 硬件 命令 协议 的 转换 ， 完 成 上 位 亲属 全 古 : 

机 软件 平台 对 物理 层 硬件 设备 的 控制 。 ee 
后 ， 在 此 层 得 到 后 期 处 理 。 通 过 细 粒 度 模式 识别 ， 个 中 se 
感知 用 户 和 环境 的 详细 信息 。 相 粒度 模式 识别 可 以 
实现 用 户 目的 、 意 图 等 综合 信息 的 判别 。 情 感 信 息 = 
识别 则 可 以 从 多 种 传 感 信 息 中 获取 用 户 的 情感 。 此 “| 移居 【传感器 区 aaa 
后 ， 对 交互 信息 和 环境 信息 进行 融合 ， 去 除 其 中 包 二 

含 的 噪声 和 元 余 信息 ， 得 到 推理 系统 可 以 处 理 的 标 
准 信息 格式 。 最 后 ， 利 用 机 器 学 习 、 决 策 树 或 其 他 图 11-18 服务 机 器 人 系统 信息 流 图 
算法 ， 实 现 推理 系统 对 多 种 信息 的 综合 推理 。 

在 细 粒 度 模式 识别 中 ， 各 识别 模块 功能 可 以 分 散在 硬件 上 实现 。 从 人 类 自身 处 理 信息 的 
流程 来 分 析 ， 会 发 现在 完成 多 通道 传 感 信 息 识别 时 ， 实 现 的 功能 基本 上 不 需要 人 类 太 多 的 逻 
辑 思维 ， 由 于 人 类 频繁 地 使 用 ， 这 些 能 力 已 经 接近 于 人 类 的 本 能 ， 比 如 当 听 一 个 人 说 话 时 ， 
将 听 到 的 声音 信号 转化 为 能 理解 的 语音 信号 的 过 程 ， 可 以 说 基本 没有 运用 大 脑 的 逻辑 分 析 功 
能 。 由 于 拟 开发 的 服务 机 器 人 最 重要 的 特点 是 交互 的 实时 性 ， 所 以 需要 将 信息 的 处 理 过 程 尽 
可 能 分 散 ， 以 减轻 智能 决策 层 处 理 信息 的 压力 ， 提 高 处 理 速度 。 

推理 系统 模拟 人 类 大 脑 的 逻辑 推理 和 智能 决策 能 力 ， 同 时 受到 情感 产生 系统 和 需求 模型 
的 影响 。 一 个 决策 的 生成 ， 不 但 与 我 们 获得 的 信息 及 掌握 的 知识 有 关 ， 还 与 我 们 当时 的 心理 
状态 以 及 要 达到 的 交互 目标 有 关系 。 基 于 确定 性 或 不 确定 性 推理 理论 以 及 智能 决策 算法 ， 实 
现 从 标准 的 交互 输入 信息 到 行为 输出 信息 之 间 的 映射 。 

行为 规划 层 : 除了 根据 外 界 输入 信息 做 出 相应 的 反射 行为 外 ， 还 要 根据 应 用 层 中 用 户 的 
设计 行为 ,综合 知识 库 、 行 为 库 规划 下 一 步 服 务 机 器 人 的 行为 。 

反射 行为 的 产生 需要 一 个 本 能 反射 规则 库 支持 。 规 则 库 包 含 一 些 基 本 的 “感应 -行动 ” 
规则 ， 这 些 规则 应 该 是 “一 对 一 ”的 形式 ,不 允许 有 复合 推理 的 形式 出 现 。 人 体 神经 系统 
的 调节 方式 是 反射 ,天 生 具 有 的 反射 叫 简单 反射 ， 又 称 为 非 条 件 反 射 ， 例 如 ， 缩 手 反射 、 虑 
眼 反射 等 都 属于 简单 反射 ， 这 是 一 种 比较 低级 的 动作 调节 方式 。 此 过 程 不 需要 经 过 大 脑 皮 
层 ， 只 要 有 痊 髓 或 脑 干 的 神经 中 枢 参 与 就 可 以 完成 ， 因 此 这 种 动作 中 没有 人 逻辑 成 分 。 人 类 还 
有 一 种 动作 叫做 无 意识 动作 ， 比 如 ， 当 一 个 人 无 聊 时 会 做 一 些 拌 脚 ， 搓 手 ， 玩 头发 等 小 动 
作 ， 这 些 动作 是 没有 经 过 大 脑 逻 辑 思 维 就 可 完成 的 ， 我 们 将 服务 机 器 人 的 无 意识 动作 也 在 此 
考虑 。 服 务 机 器 人 接收 各 种 传 感 智能 体 经 过 初步 处 理 的 较 原 始 的 交互 信息 ， 此 信息 流 可 能 会 
有 抑 余 或 冲突 性 质 的 信息 体 存在 。 简 单反 射 的 主要 目标 是 机 器 人 具有 时 效 地 完成 简单 反射 动 
作 ， 因 此 ， 在 制定 简单 反射 规则 时 ， 可 以 利用 优先 级 规则 来 对 各 种 交互 信息 体 进行 融合 ， 以 
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便 决定 当前 要 执行 的 交互 动作 。 

传输 层 : 此 层 包括 多 种 模型 ， 如 ， 关 注 模 型 、 和 情感 产生 系统 、 需 求 模 型 以 及 学 习 模 型 
等 。 在 获取 用 户 注 意 力 信息 的 基础 上 ， 关 注 模 型 能 够 计算 出 用 户 关 注 焦点 ， 进 而 可 以 使 机 器 
人 本 身 与 用 户 保 持 对 同一 事物 的 关注 。 基 于 情感 模型 ， 服 务 机 器 人 的 情感 产生 系统 可 以 产生 
自身 的 情感 。 同 时 ， 以 马 斯 洛 的 需求 层次 理论 为 基础 ， 建 立 需求 模型 ， 以 反映 服务 机 器 人 自 
身 的 需求 。 结 合 情 感 模型 与 关注 模型 的 输出 ， 进 而 影响 到 机 器 人 的 输出 行为 。 学 习 模 型 则 不 
断 地 获取 机 器 人 自身 的 输出 行为 ， 以 及 用 户 信 息 、 环 境 信息 的 输入 ， 学 习 其 中 的 映射 关系 ， 
来 不 断 调整 知识 库 和 行为 库 ， 使 服务 机 器 人 表现 出 动态 的 学 习 能 

应 用 层 : 开放 给 研究 者 。 他 们 可 以 利用 开放 的 接口 在 这 个 层面 上 进行 多 方面 的 研究 。 在 
这 一 层 ， 我 们 现在 主要 进行 机 器 人 的 情感 模型 和 服务 交互 与 合作 的 研究 ， 建 立 机 器 人 的 服务 
模式 ， 并 进行 仿真 与 调试 。 

系统 监控 层 : 目前 ， 服 务 机 器 人 还 不 能 完全 自主 ， 因 此 ， 用 户 对 系统 整体 的 运行 情况 进 
行 监控 是 必要 的 。 该 层 不 参与 具体 的 任务 和 行为 规划 。 除 了 为 用 户 提 供 服务 机 器 人 运行 状态 
的 信息 外 ， 当 系统 发 生 不 可 预见 的 困难 情况 时 ， 由 系统 监控 层 通知 用 户 处 理 这 种 异常 、 冲 罕 
和 和 死 锁 。 用 户 能 够 改变 任务 的 执行 状态 〈 挂 起 、 终 止 或 执行 ) 或 改变 机 器 人 的 运行 模式 等 。 
在 某 些 情况 下 用 户 还 可 以 通过 监控 层 直接 控制 机 器 人 来 完成 期 望 的 任务 。 此 外 ， 机 器 人 还 可 
以 利用 运行 环境 和 状态 信息 ， 以 不 得 伤害 人 和 保护 自身 的 安全 为 目的 ， 在 一 定 程 度 上 实现 模 
块 的 自 组 织 和 上 自 诊断 功能 。 


11. 3.3 ”服务 机 器 人 的 功能 模块 说 明 


开发 的 物理 型 服务 机 器 人 包括 : 表情 机 器 人 以 及 仿 人 机 器 人 。 如 图 11- 19 所 示 。 下 面 介 
绍 一 下 各 个 模块 的 主要 功能 。 

1. 语音 交互 模块 

语音 交互 技术 包括 语音 识别 和 语音 
合成 两 方面 ， 语 音 识别 是 通过 软件 提取 
用 户 的 语音 信息 ， 并 将 之 转化 为 软件 可 
识别 的 二 进 制 机 器 语言 。 目 前 设计 中 使 
用 的 是 Pattek ASR 提供 的 识别 引擎 和 科 
大 讯 飞 的 XF- S4240。 语 音 合成 使 软件 问 
用 户 反馈 的 字符 信息 通过 TTS (Text To 
Speech) 转化 为 用 户 可 以 听 懂 的 语音 信 
息 。 语音 识别 和 语音 合成 都 在 语音 交互 
模块 中 实现 。 

2. 机 器 视觉 模块 

对 由 视觉 传感器 得 来 的 数字 图 像 按 
一 定 的 算法 进行 处 理 ， 使 计算 机 能 理解 
图 像 的 意义 。 对 于 服务 机 器 人 而 言 来 
说 ， 就 是 需要 使 其 能 把 人 和 其 他 景物 区 分 开 来 ， 能 识别 人 脸 和 表情 。 人 脸 自 动 识别 系统 包括 
两 个 主要 技术 环节 ， 具 体 的 实现 过 程 包括 以 下 两 个 主要 部 分 : 1) 人 脸 检测 与 定位 ; 2) 特 
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征 提取 与 人 脸 识别 。 

3. 人 工 情 感 模块 

在 情绪 心理 学 理论 的 基础 之 上 ， 定 义 描述 情感 的 数学 空间 ， 在 此 空间 里 ， 采 用 数学 理论 
方法 ,构造 适 于 机 器 实现 的 情感 计算 理论 方法 ,使 之 能 够 模拟 人 类 的 情感 产生 、 变 化 、 转 
移 ， 并 使 之 符合 人 类 情感 变化 的 规律 ， 满 足 家 庭 环境 里 人 类 情感 的 需求 。 目 前 采用 的 是 
Markov Chain & HMM 情感 引擎 。 

4. 传感器 模块 

通过 普通 摄像 头 、 三 维 摄 像 头 、 红 外 传感器 、 超 声 传感器 、 传 声 器 等 多 个 模块 感知 外 部 
环境 信息 。 普 通 摄像 头 采集 到 用 户 图 像 ， 通 过 上 位 机 处 理 后 具有 人 脸 识别 的 功能 。 三 维 摄像 
头 采 集 用 户 人 眼 信息 ， 为 获得 用 户 注意 力 做 准备 。 传 声 器 将 语音 传递 给 上 位 机 ， 上 位 机 对 语 
音信 号 进行 语音 的 情感 特征 提取 和 语义 分 析 ， 得 到 输入 语音 的 情感 和 语义 。 红 外 和 超声 传 感 
器 具有 感应 机 器 人 周围 是 否 有 障碍 或 者 是 否 有 人 员 靠 近 的 功能 ， 将 探测 到 的 信号 传输 给 下 位 
机 系统 ， 下 位 机 系统 经 过 处 理 后 通过 RS232 传递 给 上 位 机 系统 。 上 位 机 系统 将 图 像 信 息 、 
语音 信息 和 下 位 机 信息 进行 综合 处 理 ， 得 到 与 机 器 人 交互 的 人 的 信息 或 者 机 器 人 的 外 部 环境 
信息 ， 然 后 通过 机 器 人 的 情感 输出 模块 向 下 位 机 系统 和 语音 合成 模块 发 送 指令 。 下 位 机 系统 
通过 PWM 控制 电动 机 运动 产生 身体 语音 和 面部 表情 。 上 位 机 经 过 语音 合成 后 通过 音响 向 人 
类 表达 机 器 人 的 语言 。 情 感 机 器 人 的 语音 ， 身 体 语 言 和 表情 三 者 共同 构成 了 情感 机 器 人 的 情 
感 表 达 。 人 类 可 以 通过 上 位 机 系统 的 调试 界面 对 机 器 人 的 各 个 功能 模块 进行 调试 。 

5. 控制 与 执行 机 构 模 块 

拟 选择 体积 小 、 重 量 轻 、 非 常 经 济 实 用 的 舵 机 作为 物理 型 服务 机 器 人 平台 使 用 的 主要 电 
动机 元 件 。 准 备 选用 了 两 种 型 号 的 舵 机 ，HGC14- M 和 GWS MICRO 2BBMG。 整 个 电 控 系 统 采 
用 了 上 、 下 位 机 结构 ， 上 位 机 采用 PC， 主 要 优点 是 速度 快 ， 各 种 外 部 接口 设备 多 ， 存 储 空 
间 大 。 上 位 机 主要 负责 运算 量 大 、 计 算 复 杂 的 图 像 处 理 、 语 音 识别 和 语音 合成 工作 。 下 位 机 
采用 性 价 比 高 的 PIC16F877 单片机 ， 上 位 机 和 下 位 机 通过 RS232 串口 或 者 无 线 模 块 进 行 连 
接 通信 。 下 位 机 主要 负责 传感器 信息 接收 、 信 息 初级 处 理 、 电 动机 驱动 和 运动 控制 等 工作 。 

6. 网 络 功能 模块 

该 模块 负责 初始 化 物理 性 服务 机 器 人 的 网 络 连 接 和 智能 家 居 网 络 中 的 其 他 设备 通信 。 
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